Token AI: come contarli, stimare i costi e gestire il contesto

I modelli di intelligenza artificiale non ricevono direttamente parole, pagine o file nel modo in cui li vediamo noi. Prima dell’elaborazione, il contenuto viene trasformato in una sequenza di unità chiamate token.

Capire i token è utile anche senza essere sviluppatori. Permette di stimare il costo di un’automazione, sapere quanto testo può entrare in una conversazione, confrontare modelli e progettare sistemi RAG o agenti senza riempire inutilmente la finestra di contesto.

Questa guida non si limita alla definizione: mostra come si contano i token, quali categorie appaiono nelle API e come trasformare il loro consumo in una metrica operativa per professionisti e PMI. Per una spiegazione sintetica è disponibile anche la voce Token del glossario.

Indice

• Che cos’è un token
• Come funziona la tokenizzazione
• Perché lo stesso testo può avere conteggi differenti
• Le categorie di token nelle API
• Token e finestra di contesto
• Come stimare il costo di un processo AI
• Come contare i token prima della richiesta
• Come ridurre il consumo senza peggiorare il risultato
• Checklist per aziende e sviluppatori
• FAQ

Che cos’è un token

Un token è un’unità tecnica utilizzata dal modello per rappresentare il contenuto. Nel testo può coincidere con una parola intera, una parte di parola, un segno di punteggiatura, uno spazio associato alla parola successiva o un singolo carattere.

Non esiste quindi una corrispondenza fissa tra token e parole. La stessa frase può essere suddivisa diversamente da due famiglie di modelli, perché ciascuna utilizza il tokenizer e il vocabolario previsti durante l’addestramento.

OpenAI propone, per l’inglese, la regola orientativa di circa quattro caratteri o tre quarti di parola per token. È soltanto una stima: non va applicata automaticamente all’italiano, al codice, alle tabelle o a un modello con un tokenizer differente.

Come funziona la tokenizzazione

La tokenizzazione avviene prima che il modello elabori il contenuto:

1. il tokenizer riceve il testo o l’input strutturato;
2. divide il contenuto in parole, sottoparole, caratteri o byte secondo il proprio algoritmo;
3. associa ogni token a un identificatore numerico;
4. il modello trasforma gli identificatori in rappresentazioni matematiche;
5. durante la risposta genera una sequenza di nuovi token;
6. il tokenizer riconverte la sequenza in testo leggibile.

La documentazione di Hugging Face descrive tre famiglie comuni di tokenizzazione a sottoparole: Byte-Pair Encoding, WordPiece e SentencePiece. Il vantaggio delle sottoparole è poter rappresentare termini rari o mai incontrati combinando unità già presenti nel vocabolario.

Consideriamo la frase:

L’intelligenza artificiale aiuta le imprese.

Non possiamo stabilirne il conteggio esatto guardando le sei parole. “Intelligenza” e “artificiale” potrebbero essere unità intere oppure essere divise in più segmenti. Anche apostrofo, punteggiatura e spazi possono influire. L’unico conteggio affidabile è quello eseguito con il tokenizer del modello che verrà realmente utilizzato.

Perché lo stesso testo può avere conteggi differenti

Il conteggio cambia principalmente per quattro motivi.

Modello e vocabolario

Un tokenizer costruito su corpus differenti può conoscere come unità intera una parola che un altro tokenizer deve dividere. Per questo un conteggio ottenuto con uno strumento OpenAI non deve essere usato come misura esatta per Claude, Gemini o un modello locale.

Lingua

Le regole empiriche pubblicate per l’inglese non descrivono necessariamente l’italiano. Parole flesse, composte, tecniche o poco frequenti possono essere segmentate in modo meno compatto. È corretto misurare il proprio campione reale, non affermare che una lingua consumi sempre una percentuale fissa in più.

Tipo di contenuto

Codice, JSON, log, tabelle e URL possono generare molte unità brevi. Anche contenuti apparentemente compatti possono avere un costo in token superiore a un paragrafo naturale della stessa lunghezza visiva.

Input multimodale

Immagini, audio, video e documenti vengono conteggiati secondo regole specifiche del servizio. La documentazione Gemini, per esempio, espone strumenti per contare input testuali e multimodali. Non è corretto stimare questi contenuti soltanto dai megabyte del file.

Le categorie di token nelle API

Nei pannelli e nelle risposte delle API possono comparire categorie diverse:

Nomi, disponibilità e fatturazione cambiano tra fornitori e versioni. Prima di costruire un preventivo bisogna verificare documentazione e listino del modello effettivo, non affidarsi a una tabella copiata mesi prima.

Token e finestra di contesto

La context window stabilisce quanti token il modello può considerare durante una singola elaborazione. Dentro il limite devono convivere istruzioni di sistema, messaggi precedenti, domanda corrente, documenti recuperati, risultati degli strumenti e spazio per la risposta.

Esempio progettuale con un limite complessivo di 32.000 token:

Il limite dichiarato non equivale quindi al testo liberamente disponibile per l’utente. Un’applicazione deve scegliere cosa eliminare, riassumere o recuperare quando la conversazione cresce.

Come stimare il costo di un processo AI

I prezzi delle API vengono normalmente espressi per un certo numero di token di input e output. Poiché i listini cambiano, conviene separare il calcolo dalla tariffa.

Supponiamo un processo che esegua ogni mese 10.000 richieste, con una media di 2.000 token in ingresso e 500 in uscita:

• input mensile: 10.000 × 2.000 = 20 milioni di token;
• output mensile: 10.000 × 500 = 5 milioni di token.

La formula diventa:

Costo mensile =
(token input / unità di listino × prezzo input)
+ (token output / unità di listino × prezzo output)
+ eventuali costi di cache, strumenti o infrastruttura

Per una stima realistica bisogna aggiungere retry, errori, test, richieste duplicate, picchi e margine di crescita. Il costo per chiamata è meno utile del costo per risultato completato: un modello economico che richiede tre tentativi può costare più di uno preciso al primo passaggio.

Come contare i token prima della richiesta

OpenAI

OpenAI mette a disposizione un tokenizer interattivo e la libreria tiktoken. In Python:

import tiktoken

testo = "Analizza questo documento e restituisci una tabella."
encoding = tiktoken.encoding_for_model("ID_DEL_MODELLO")
conteggio = len(encoding.encode(testo))
print(conteggio)

Il modello deve essere quello realmente usato; encoding differenti possono produrre risultati differenti.

Claude

Claude offre l’endpoint messages.count_tokens, che accetta la stessa struttura della richiesta, inclusi sistema, strumenti, immagini e PDF. La documentazione precisa che il conteggio è una stima e può differire leggermente dall’uso effettivo.

response = client.messages.count_tokens(
    model="ID_DEL_MODELLO",
    messages=[{"role": "user", "content": testo}]
)
print(response.input_tokens)

Gemini

Gemini espone count_tokens per misurare l’input prima della generazione; dopo la risposta, i metadati d’uso distinguono normalmente prompt, output e altre categorie supportate.

response = client.models.count_tokens(
    model="ID_DEL_MODELLO",
    contents=testo
)
print(response.total_tokens)

Per un’applicazione di produzione il conteggio dovrebbe usare l’intera richiesta: non solo il testo dell’utente, ma anche istruzioni, cronologia, definizioni degli strumenti e documenti.

Come ridurre il consumo senza peggiorare il risultato

Elimina duplicati, non informazioni utili

Rimuovi firme, menu, intestazioni ripetute, log irrilevanti e copie dello stesso documento. Accorciare indiscriminatamente il prompt può invece eliminare criteri essenziali e aumentare gli errori.

Recupera soltanto i documenti pertinenti

Un sistema RAG dovrebbe selezionare pochi frammenti rilevanti, non riempire il contesto con tutto l’archivio. La qualità del recupero è spesso più importante della quantità.

Limita l’output

Definisci formato e livello di dettaglio: “tabella con massimo dieci righe” è più controllabile di “analizza tutto”. Imposta anche il limite di output nell’API, lasciando comunque spazio sufficiente per completare il compito.

Comprimi la cronologia

Nelle conversazioni lunghe conserva decisioni, vincoli e attività aperte in uno stato strutturato. Una sintesi verificata è più utile di decine di messaggi reinviati a ogni turno.

Usa la cache quando il contesto è stabile

Istruzioni, manuali o esempi ripetuti possono beneficiare del prompt caching quando disponibile. Bisogna verificare durata, condizioni e prezzo della cache presso il fornitore.

Misura il risultato, non soltanto i token

Registra token, latenza, esito, retry e valutazione della risposta. L’obiettivo non è il prompt più corto, ma il processo affidabile con il minor costo complessivo.

Checklist per aziende e sviluppatori

• Il conteggio usa il tokenizer del modello scelto?
• Include istruzioni di sistema, strumenti e cronologia?
• Input, output, cache e reasoning sono misurati separatamente?
• Il budget lascia spazio sufficiente alla risposta?
• I documenti RAG sono deduplicati e pertinenti?
• Sono registrati retry e chiamate fallite?
• Il listino viene letto da una fonte ufficiale aggiornata?
• Esiste un limite mensile con soglia di avviso?
• Viene misurato il costo per attività completata?
• I dati inviati rispettano policy e classificazione aziendale?

Errori comuni

Usare “numero di parole × una costante” come dato esatto

È adatto soltanto a una prima stima. Per budget, limiti e routing bisogna contare la richiesta con il tokenizer corretto.

Contare soltanto il messaggio dell’utente

Sistema, cronologia, strumenti e allegati possono rappresentare la parte maggiore dell’input.

Confondere token e caratteri

Un limite di 32.000 token non equivale a 32.000 caratteri o parole. La conversione dipende dal contenuto.

Ottimizzare il prompt fino a renderlo ambiguo

Risparmiare cento token e provocare un secondo tentativo non è un risparmio. Mantieni esempi, vincoli e criteri di controllo necessari.

Bloccare nel software prezzi e limiti senza versione

Modelli, tokenizer e listini cambiano. Conserva identificatore del modello, data del listino e parametri usati nel calcolo.

FAQ

Un token equivale a una parola?

No. Può essere una parola, una sottoparola, un carattere o un segno di punteggiatura.

Quanti token contiene una pagina?

Non esiste un valore universale. Dipende da lingua, formattazione, codice, tabelle e tokenizer. Misura un campione rappresentativo con il modello scelto.

I token di input e output costano uguale?

Non necessariamente. I fornitori possono applicare prezzi differenti e categorie aggiuntive. Consulta sempre il listino ufficiale corrente.

ChatGPT, Claude e Gemini contano gli stessi token?

No. Tokenizer e modalità di conteggio sono specifici della famiglia e della versione. Lo stesso testo può produrre numeri diversi.

Un prompt più corto è sempre migliore?

No. Deve essere sufficientemente preciso. Conviene eliminare ridondanze e contenuti inutili, non istruzioni necessarie a produrre un risultato corretto.

I token determinano anche la memoria della chat?

Determinano lo spazio disponibile nella singola elaborazione. La memoria persistente è una funzione dell’applicazione, che deve recuperare e reinserire le informazioni pertinenti.

Conclusioni

I token sono il contatore operativo dell’intelligenza artificiale: misurano ciò che entra nel modello, ciò che viene generato e quanta capacità della finestra di contesto viene utilizzata.

Per un uso professionale non basta conoscere una conversione approssimativa tra parole e token. Occorre contare l’intera richiesta con il modello corretto, distinguere le categorie d’uso e collegare consumo, costo, latenza ed esito del processo.

La domanda utile non è “come scrivo il prompt più corto?”, ma “quanti token servono per ottenere un risultato corretto al primo tentativo?”

Fonti

• OpenAI Help Center – What are tokens and how to count them?
• Claude Platform – Token counting
• Google AI for Developers – Understand and count tokens
• Hugging Face – Summary of the tokenizers

Vuoi ricevere altre guide operative su modelli, costi e AI locale? Iscriviti gratuitamente alla newsletter di BASI DI AI.