Token è un concetto importante per capire come funzionano e come vengono utilizzati i sistemi di intelligenza artificiale. In questa scheda trovi una spiegazione concreta, il funzionamento tecnico essenziale, un esempio e i limiti da ricordare.
Vuoi calcolare consumi e costi? Consulta la guida operativa ai token AI, con strumenti per OpenAI, Claude e Gemini, formule ed esempi aziendali.
Indice
- Definizione semplice
- Come funziona
- Esempio pratico
- A cosa serve
- Limiti ed errori comuni
- Da non confondere con
- FAQ
Che cos’è Token
Un token è l’unità in cui un modello suddivide testo e altri contenuti prima di elaborarli. Può corrispondere a una parola, a una parte di parola, a un segno di punteggiatura o, in alcuni sistemi, a elementi di immagini e audio.
I token determinano quanta informazione entra nella context window, influenzano tempi e costi delle API e spiegano perché la lunghezza in caratteri non coincide con la lunghezza percepita dal modello.
Come funziona
- Un tokenizer applica un vocabolario e regole di segmentazione al contenuto ricevuto.
- Ogni token viene trasformato in un identificatore numerico e poi in una rappresentazione vettoriale.
- Il modello elabora la sequenza e genera nuovi token fino al termine, al limite configurato o a una condizione di arresto.
La realizzazione concreta varia tra modelli e prodotti. Per questo è importante verificare documentazione, versione, configurazione e condizioni del servizio utilizzato.
Esempio pratico
La frase “L’intelligenza artificiale è utile” non viene necessariamente letta come cinque parole intere: parole lunghe o meno frequenti possono essere divise in più token. Un documento italiano di uguale lunghezza può quindi consumare un numero di token diverso rispetto a un documento inglese.
A cosa serve
- calcolo dei limiti di contesto
- stima di costi e latenza
- controllo della lunghezza massima dell’output
Il valore non dipende soltanto dalla tecnologia: occorre definire il risultato atteso, preparare esempi realistici e stabilire come misurare qualità, tempi, costi e rischi.
Limiti ed errori comuni
- token non equivale a parola
- tokenizer diversi producono segmentazioni diverse
- testo, codice e lingue diverse hanno densità differenti
- allegati e istruzioni di sistema possono occupare parte del contesto
In processi aziendali o ad alto impatto è opportuno conservare log, versioni e fonti, applicare il principio del minimo privilegio e prevedere un controllo umano proporzionato alle conseguenze.
Da non confondere con
Il carattere è un simbolo grafico, la parola è un’unità linguistica, il token è un’unità tecnica scelta dal tokenizer. La context window viene normalmente misurata in token.
FAQ
Quanti token contiene una parola?
Non esiste un rapporto fisso. Una parola comune può essere un token; una parola rara o composta può richiederne diversi.
I token dell’input e dell’output contano entrambi?
Sì. Servizi e limiti possono distinguere token in ingresso, token generati e token conservati nella cache.
Perché devo considerarli?
Per evitare di superare il contesto e per stimare costo, velocità e dimensione dei documenti elaborabili.
In sintesi
Token è utile quando viene inserito in un’architettura e in un processo coerenti. Conoscerne funzionamento e limiti aiuta a evitare aspettative errate e a scegliere strumenti adeguati.
Termini correlati
Iscriviti alla newsletter di BASI DI AI per ricevere guide e approfondimenti.
