Token AI: come contarli, stimare i costi e gestire il contesto
I token misurano ciò che un modello AI riceve e genera. Ecco come contarli, stimare i costi delle API e gestire documenti, chat e context window.
Sezione
AI Locale
Guide per eseguire modelli AI su computer, workstation e server controllati dall’utente.
Come installare Ollama su Windows, macOS e Linux in sicurezza
Guida completa per installare Ollama su Windows, macOS e Linux, eseguire un modello locale, verificare GPU e API e proteggere la configurazione.
AI locale: checklist completa per progettare una soluzione
Una checklist pratica per progettare l’AI locale: casi d’uso, dati, modelli, RAM, VRAM, RAG, rete, sicurezza, test e criteri di produzione.
RAG: collegare un modello ai propri documenti passo dopo passo
Guida completa al RAG: documenti, chunk, embedding, retrieval, citazioni, sicurezza, AI locale, valutazione ed errori da evitare.
Open WebUI con Ollama: configurazione, sicurezza e primi test
Guida pratica a Open WebUI con Ollama: installazione Docker, collegamento, primi test, documenti RAG, sicurezza e problemi frequenti.
Modelli open weights: licenze, privacy e scelta per AI locale
Open weights non significa automaticamente open source. Guida pratica a licenze, privacy, hardware, sicurezza e scelta dei modelli AI locali.
Ollama: cos’è, come funziona e quando usarlo per l’AI locale
Guida a Ollama: modelli locali, comandi, API, Modelfile, memoria, sicurezza e integrazioni per professionisti e PMI.
Context window: cos’è, quanti token servono e come configurarla
La context window stabilisce quante informazioni un modello AI può elaborare insieme. Scopri come influisce su qualità, costi, VRAM, RAG e Ollama.
Quantizzazione AI: scegliere Q4, Q5, Q8 e stimare RAM e VRAM
La quantizzazione riduce memoria e requisiti dei modelli AI. Guida pratica a Q4, Q5, Q8, GGUF, RAM, VRAM, qualità e scelta per Ollama.
Inference AI: latenza, token al secondo e prestazioni
Cos’è l’inference AI e come misurare TTFT, token al secondo, latenza, throughput, RAM e VRAM su Ollama e sistemi locali.
LoRA: adattare un modello AI senza riaddestrarlo da zero
LoRA permette di specializzare un modello addestrando piccoli adapter. Guida pratica a QLoRA, dataset, parametri, valutazione e uso con Ollama.
Temperature AI: valori consigliati, top-p e seed
Come funziona la temperature nei modelli AI, quali valori usare, differenze da top-p e seed e come testarla con ChatGPT, Claude, Gemini e Ollama.