Il miglior modello di IA locale per il tuo PC, per RAM e VRAM (misurato)
Risposta breve: il miglior modello di IA locale per il tuo PC è il più grande che entra tutto nella tua scheda grafica, con circa 1,5 GB di margine. Niente scheda? Un modello piccolo nella tua RAM. Un modello più piccolo tutto sulla scheda batte uno più grande che ne esce: quando esce, lo abbiamo misurato 6 volte più lento. Qui sotto, la scelta per ogni tipo di PC, con velocità che abbiamo misurato su 10 PC reali.
Il miglior modello per il tuo PC
| Il tuo PC | Dimensione del modello che ci sta | Cosa abbiamo misurato |
|---|---|---|
| Portatile da 8 GB, senza scheda grafica | Piccolo, circa 2–3 GB (Gemma 4 E2B, 2,6 GB) | 5–7 token/s in chat reali; prima chiudi le altre app |
| Portatile da 16 GB, senza scheda grafica | Piccolo per la velocità; circa 4 GB funziona, ma lentamente | E2B 14–18 token/s; E4B 8–10 |
| Scheda grafica da 4 GB | Circa 2–3 GB ci stanno tutti; 4 GB escono | E4B (4,2 GB, in parte nella RAM) circa 20 token/s su una GTX 1650 |
| Scheda grafica da 6 GB | Circa 4–4,5 GB | E4B 35–38 token/s su una GTX 1660 Super |
| Scheda grafica da 8 GB | Circa 4–6 GB | E4B 56–72 sulle schede recenti (circa 11 su una vecchia RX 580) |
| Scheda grafica da 12 GB in su | Circa 6–10 GB: modelli di classe 12B | E4B 50–55 su 12 GB; il 12B richiede almeno 10 GB per le chat lunghe |
Ogni scheda con la sua pagina: L'IA gira sul mio PC? Oppure scrivi la tua scheda nel verificatore.
Perché "ci sta" conta più di "il più grande"
Se esce dalla scheda, è più lento che senza scheda
Su una RX 5700 XT da 8 GB, Gemma 4 12B ha scritto 35,6 token al secondo tutto sulla scheda, 5,9 con una parte fuori dalla scheda e 4,3 con ancora meno sulla scheda: più lento di un modello più piccolo che gira senza scheda. Il test completo sulla VRAM.
Ci sta per una domanda, si blocca in una chat lunga
Lo stesso modello 12B stava nella scheda da 8 GB per una domanda breve, poi si è bloccato ogni volta che la chat cresceva: anche la conversazione ha bisogno di spazio. Ecco a cosa serve il margine di 1,5 GB.
Spesso il piccolo basta
Su un portatile da 16 GB, Gemma 4 E2B ha dato una risposta di studio completa in 20 secondi e ha risposto bene a 5 controlli rapidi sui fatti su 5; E4B spiegava meglio, ma ha impiegato 112 secondi. E2B contro E4B, misurati.
I modelli che abbiamo misurato
| Modello | Dimensione del file | Ideale per | Licenza |
|---|---|---|---|
| Gemma 4 E2B | 2,6 GB | Portatili, 8–16 GB di RAM | Apache 2.0 |
| Gemma 4 E4B | 4,2 GB | Schede grafiche da 6 GB o più | Apache 2.0 |
| Gemma 4 12B | circa 6,4 GB | Schede grafiche da 10–12 GB o più | Apache 2.0 |
Questi sono i file che GreenCube include e gli unici che abbiamo cronometrato, quindi sono gli unici per cui diamo velocità. Le altre famiglie di modelli seguono la stessa regola: guarda la dimensione del file, aggiungi circa 1,5 GB e confronta con la tua VRAM. I requisiti di Gemma 4 nel dettaglio.
Come controllare la tua VRAM
- Premi Ctrl + Maiusc + Esc per aprire Gestione attività.
- Vai su Prestazioni, poi su GPU.
- Memoria GPU dedicata è la tua VRAM. Niente memoria dedicata? Usa un modello piccolo nella RAM.
Preferisci non scegliere affatto? GreenCube legge la tua scheda e la tua RAM e sceglie il modello che ci sta, con margine. Le app gratuite come LM Studio, Jan e Ollama ti lasciano scegliere da solo: 12 app a confronto.
Domande
Qual è il miglior modello di IA locale?
Il modello più grande che entra tutto nella tua scheda grafica con circa 1,5 GB di margine. Un modello più piccolo tutto sulla scheda batte uno più grande che finisce in parte nella RAM: nel nostro test, un modello con una parte fuori da una scheda da 8 GB andava 6 volte più lento.
Qual è il miglior modello di IA locale per un portatile senza scheda grafica?
Uno piccolo. Gemma 4 E2B (2,6 GB) ha scritto da 14 a 18 token al secondo su un portatile da 16 GB e da 5 a 7 su un portatile da 8 GB, in chat reali; il più grande E4B ha impiegato 112 secondi per una risposta che E2B ha dato in 20.
Qual è il miglior modello di IA locale per una scheda grafica da 8 GB?
Un modello di circa 4-5 GB, come Gemma 4 E4B (4,2 GB): ha scritto da 56 a 72 token al secondo su schede da gaming da 8 GB. Un modello da 12 miliardi di parametri ci stava per le domande brevi, ma si bloccava nelle chat lunghe.
Come faccio a sapere se un modello sta nella mia scheda grafica?
Prendi la dimensione del file del modello e aggiungi circa 1,5 GB per la conversazione e per Windows. Se il risultato è minore della memoria GPU dedicata della tua scheda (Gestione attività, Prestazioni, GPU), ci sta.
Devo scegliere il modello da solo?
Nelle app gratuite come LM Studio, Jan o Ollama, sì. GreenCube legge la tua scheda e la tua RAM e sceglie per te il modello che ci sta.
La tua IA, sul tuo PC
GreenCube gira sul tuo computer: nessun limite d'uso, nessun abbonamento, funziona senza internet. 9,99 €, pagati una volta.
Prendi GreenCube