Il prezzo per milione di token è un dato del fornitore. Non serve a decidere nulla. La domanda che si pone la direzione è un’altra: quanto costa portare a termine un’attività completa (registrare una fattura, rispondere a un reclamo, preparare una proposta) e quanto costava prima svolgerla a mano.
La tokeneconomics consiste nel tradurre il consumo dei modelli in questa unità di misura.
Dal prezzo per token al costo per attività
Un’attività raramente corrisponde a una sola chiamata. Di solito è una catena: leggere un documento, estrarre dati, interrogare un sistema, redigere, rivedere. Ogni passaggio consuma input e output, e alcuni si ripetono quando il primo tentativo non va a buon fine.
Il costo per attività si calcola sommando l’intera catena, tentativi ripetuti compresi, e dividendo per le attività effettivamente portate a termine, non per quelle tentate. Un sistema con il 30% di ripetizioni costa parecchio più di quanto indichi il calcolo ottimistico.
Con questo dato è possibile fare il confronto che conta: costo per attività automatizzata rispetto al costo per attività manuale, incluso il tempo della persona che rivede il risultato.
Le leve che incidono sulla spesa
Prompt caching. Quando molte richieste condividono un blocco ampio e identico (un manuale, un catalogo, istruzioni lunghe), pagarlo a ogni chiamata è uno spreco. Il prompt caching lo addebita una volta e lo riutilizza a prezzo ridotto per un certo periodo. È la leva con il miglior rapporto tra sforzo e risparmio.
Elaborazione in batch. Ciò che non richiede una risposta immediata (classificare la posta arrivata durante la notte, riassumere documentazione, arricchire un catalogo) si può inviare in batch, con uno sconto notevole in cambio dell’attesa. Buona parte del carico di un’azienda non è interattiva, ma viene fatturata come se lo fosse.
Dimensione del prompt. Le istruzioni crescono da sole: ogni anomalia aggiunge una frase e nessuno toglie mai nulla. Rivederle e sfoltirle riduce in un colpo solo il costo di tutte le chiamate.
Finestre lunghe. Inserire un intero fascicolo nel contesto è comodo e a volte è la scelta giusta, ma si paga a ogni chiamata. Rispetto a recuperare solo ciò che è pertinente con la RAG, la finestra lunga è preferibile nelle analisi approfondite occasionali e perde terreno sui volumi elevati.
Routing. Assegnare ogni attività al modello adatto è, nella maggior parte dei casi, la leva con il margine più ampio. Ha una pagina dedicata.
Il budget come decisione di business
Un sistema di IA senza un tetto di spesa è un rischio aperto. Il minimo ragionevole: costo massimo per esecuzione, costo massimo giornaliero, un avviso quando il costo medio per attività si discosta dalle previsioni e un responsabile individuato per quella voce di spesa.
Il costo per attività fissa anche la soglia oltre la quale un caso d’uso smette di avere senso. Se automatizzare costa più che lavorare a mano, la risposta corretta è non automatizzare, ed è bene saperlo prima di sviluppare.
Quando vale la pena occuparsene
Sì, quando:
- Uno o più casi d’uso sono già in produzione e la spesa cresce ogni mese
- Si sta decidendo se estendere un progetto pilota: il costo per attività è il dato su cui si basa la decisione
- Occorre giustificare l’investimento in IA davanti a un comitato con numeri, non con impressioni
No, quando:
- Si è nella fase di proof of concept e la spesa è marginale: prima va dimostrato il valore
- Il volume è così basso che qualsiasi ottimizzazione farebbe risparmiare meno di quanto costa implementarla
Il nostro approccio
Per prima cosa strumentiamo il sistema: ogni chiamata viene etichettata per caso d’uso, con il relativo costo e il risultato. Dopo due o tre settimane di dati reali emerge la ripartizione (di norma poche operazioni assorbono la maggior parte della spesa) ed è lì che si interviene: cache, batch, sfoltimento delle istruzioni e routing. Il risultato si misura rispetto alla spesa del mese precedente, a parità di volume e di qualità.
Domande frequenti
Quanto si può risparmiare senza incidere sulla qualità? Dipende dal punto di partenza. Dove non si è ottimizzato nulla, cache e batch producono di solito la prima riduzione consistente senza cambiare né il modello né il risultato. La cifra onesta emerge solo dopo aver misurato.
Non è un compito del fornitore? Il fornitore mette a disposizione i meccanismi (cache, batch, modelli di diverse dimensioni), ma decidere dove applicarli è un lavoro di architettura e dipende dalle attività specifiche di ciascuna azienda.
Come si presenta tutto questo al comitato di direzione? Con due numeri per caso d’uso: il costo per attività svolta e il risparmio rispetto al processo manuale. Il resto è dettaglio tecnico.