AI locale: checklist completa per progettare una soluzione
Una checklist pratica per progettare l’AI locale: casi d’uso, dati, modelli, RAM, VRAM, RAG, rete, sicurezza, test e criteri di produzione.
Sezione
Hardware
Contenuti, guide e aggiornamenti dedicati a Hardware.
Quantizzazione AI: scegliere Q4, Q5, Q8 e stimare RAM e VRAM
La quantizzazione riduce memoria e requisiti dei modelli AI. Guida pratica a Q4, Q5, Q8, GGUF, RAM, VRAM, qualità e scelta per Ollama.
Inference AI: latenza, token al secondo e prestazioni
Cos’è l’inference AI e come misurare TTFT, token al secondo, latenza, throughput, RAM e VRAM su Ollama e sistemi locali.