Quanta VRAM serve per l'IA? Perché il modello deve stare nella tua GPU
Risposta breve: un'IA che sta tutta nella memoria della tua scheda grafica (la VRAM) è veloce. Una che ne esce è più lenta che non usare affatto la scheda, e può bloccarsi. Più piccola e tutta sulla scheda batte più grande e a metà.
Il test
Un PC fisso con una AMD RX 5700 XT (8 GB di VRAM) e 48 GB di RAM. Abbiamo caricato un modello da 12 miliardi di parametri (Gemma 4 12B, circa 6,2 GB) e ne abbiamo messo più o meno sulla scheda, tutto in una sessione a settembre 2026.
| Quanto del modello era sulla scheda | Scrive (token/s) |
|---|---|
| Tutto | 35,6 |
| 28 dei suoi strati | 5,9 |
| 20 dei suoi strati | 4,3 |
| Per confronto: un modello più piccolo (Gemma 4 E4B) solo sul processore | 5,0 |
| Quel modello più piccolo, tutto sulla scheda | 72,5 |
Cosa abbiamo imparato
1. Tutto o niente
Tenere anche solo una parte del modello fuori dalla scheda lo ha reso 6 volte più lento. Con 20 strati sulla scheda era più lento di un modello più piccolo che girava senza scheda. Metà sulla scheda è il peggio di entrambi i mondi.
2. Il più grande non è il migliore
Il modello 12B è entrato tutto nella scheda da 8 GB, per una domanda breve. Man mano che la chat cresceva, si è bloccato ogni volta: la scheda non aveva quasi più spazio per la conversazione. Il modello più piccolo aveva circa 3 GB di margine e andava a 63-72 token al secondo.
3. Lascia spazio
Su una GTX 1650 da 4 GB, un modello da 4,2 GB è stato schiacciato in una scheda da 3,9 GB, e il primissimo messaggio è fallito con "memoria insufficiente". Ora GreenCube tiene libero circa 1,5 GB della scheda per la chat e per Windows.
Come scegliere un modello per la tua scheda
Controlla la tua VRAM
Gestione attività → Prestazioni → GPU → Memoria GPU dedicata.
Dimensione del modello + 1,5 GB
Il file del modello più circa 1,5 GB deve stare in quel numero.
Nel dubbio, più piccolo
Un modello più piccolo tutto sulla scheda batte uno più grande a metà.
O lascia scegliere all'app
GreenCube legge la tua scheda e sceglie un modello che ci sta con margine.
Velocità reali su 10 PC, da una GTX 1650 a una RTX 2080 Ti: guardale qui.
Domande
Cosa succede se un modello di IA non sta nella VRAM?
La parte che non ci sta gira dalla memoria normale, e tutto rallenta. Sulla nostra scheda da 8 GB, un modello con 28 dei suoi strati sulla scheda ha scritto a 5,9 token al secondo invece di 35,6 con tutti: 6 volte più lento.
Devo usare il modello di IA più grande che la mia scheda riesce a caricare?
No. Lascia spazio per la conversazione. Un modello da 12 miliardi di parametri è entrato in una scheda da 8 GB per una domanda breve, poi si è bloccato appena la chat si è allungata. Un modello più piccolo che ci stava con margine è stato più veloce e non si è mai bloccato.
Quanta VRAM devo lasciare libera?
GreenCube lascia libero circa 1,5 GB della scheda per la conversazione e per Windows. Senza quel margine, una scheda da 4 GB è rimasta senza memoria al primo messaggio.
La tua IA, sul tuo PC
GreenCube gira sul tuo computer: nessun limite d'uso, nessun abbonamento, funziona senza internet. 9,99 €, pagati una volta.
Prendi GreenCube