Quanta RAM serve per un modello locale
La memoria richiesta cresce con le dimensioni del modello e la quantità di testo elaborata. Servono anche risorse per il programma, il sistema operativo e i documenti aperti. La velocità dipende dal processore, dalla scheda video e dalla memoria disponibile.
LM Studio raccomanda almeno 16 GB di RAM. Sui Mac con 8 GB suggerisce modelli piccoli e quantità di testo limitate. Questa indicazione riguarda il programma: il modello scelto può richiedere molta più memoria.
Che cosa sono i parametri degli LLM
Un LLM è un modello linguistico che genera testo. Durante l’addestramento, il programma aggiorna valori numerici chiamati parametri, tra cui i pesi del modello. Questi valori influenzano il modo in cui il modello elabora il testo e produce la risposta.
Il programma suddivide il testo in piccole unità chiamate token. Il modello usa i pesi per calcolare quali token possono proseguire la sequenza. Un modello indicato come 8B contiene circa 8 miliardi di parametri. La lettera B indica miliardi.
Un numero maggiore di parametri può aumentare le capacità del modello. La qualità dipende anche dai dati, dall’addestramento e dal compito richiesto. Lo studio Chinchilla ha confrontato modelli da 70 e 280 miliardi di parametri. Il modello più piccolo, addestrato con più dati, ha ottenuto risultati migliori nei test considerati.
Per il lavoro legale, confronta gli strumenti sullo stesso documento fittizio. Controlla i fatti, le fonti e il tempo necessario per correggere la risposta.
Parametri e memoria: un calcolo indicativo
Il formato dei pesi cambia lo spazio necessario per conservarli. A 16 bit, ogni parametro occupa 2 byte; a 4 bit, occupa teoricamente mezzo byte. La quantizzazione riduce la precisione numerica dei pesi per diminuire lo spazio occupato. Il suo effetto sulla qualità richiede una prova sul compito scelto.
Esempi teorici, riferiti soltanto ai parametri:
Spazio teorico dei soli pesi del modello| Parametri | Pesi a 4 bit | Pesi a 16 bit |
|---|
| 8 miliardi | 4 GB | 16 GB |
|---|
| 70 miliardi | 35 GB | 140 GB |
|---|
| 1.000 miliardi | 500 GB | 2.000 GB |
|---|
Metodo di calcolo: documentazione Hugging Face.
I valori usano GB decimali: un GB corrisponde a un miliardo di byte. Il calcolo esclude testo elaborato, memoria temporanea, informazioni aggiuntive del formato e programmi aperti. La memoria necessaria durante l’uso è quindi maggiore.
Con una scheda video dedicata, considera anche la sua memoria, chiamata VRAM. Su alcuni computer, processore e scheda video condividono la memoria. La distribuzione tra RAM e VRAM dipende dal programma e dalle impostazioni.
L’esempio da 70 miliardi richiede già 35 GB teorici per i soli pesi a 4 bit. Un portatile con 8 o 16 GB di memoria totale ha risorse insufficienti per caricarli integralmente in memoria.
Quanto servirebbe per GPT-6
La documentazione OpenAI consultata presenta GPT-6 come servizio accessibile tramite API. Le API permettono al programma sul tuo computer di inviare richieste al servizio remoto.
Le fonti consultate non indicano i parametri e il formato necessari a stimare la RAM per eseguirlo localmente. L’esempio da 1.000 miliardi nella tabella è ipotetico e non descrive GPT-6.
Modelli open source e pesi scaricabili
Un modello con pesi scaricabili, spesso chiamato open-weight, permette di ottenere i file necessari alla sua esecuzione. Verifica la licenza, i programmi compatibili e le risorse hardware richieste.
La definizione dell’Open Source Initiative richiede la libertà di usare, studiare, modificare e condividere il sistema. Richiede anche il codice, i pesi e informazioni sui dati usati per l’addestramento. Controlla questi requisiti anche quando puoi scaricare i pesi.
Controlla separatamente dove vengono elaborati i documenti. Anche un modello scaricabile può essere eseguito da un fornitore sui propri server.
Dove passano i dati
Un’applicazione installata sul computer può collegarsi a un modello remoto. Verifica quale modello usa, dove lavora e quali testi invia. Controlla anche ricerca web, strumenti aggiuntivi e cartelle sincronizzate.
Ollama offre modelli locali e funzioni cloud. La documentazione descrive una modalità locale che disattiva i modelli cloud e la ricerca web del programma. Verifica le impostazioni della versione installata e gli altri programmi collegati.
Prova il modello con documenti inventati
Chiedi una cronologia con riferimenti ai passaggi originali. Controlla date, fatti, tempi e file prodotti. Verifica chi accede al computer, dove salvi le copie e come elimini i documenti.
La pagina «Agenti IA» presenta le modalità di utilizzo. Nel programma del Master Agenti IA trovi dimostrazioni e prove guidate su strumenti, fornitori e dati.