Hoeveel VRAM heb je nodig voor AI? Waarom het model op je GPU moet passen
Kort antwoord: een AI die helemaal in het geheugen van je videokaart (VRAM) past, is snel. Een die overloopt, is trager dan wanneer je de kaart helemaal niet gebruikt, en kan vastlopen. Kleiner en helemaal op de kaart wint van groter en half erop.
De test
Een desktop-pc met een AMD RX 5700 XT (8 GB VRAM) en 48 GB RAM. We laadden een model met 12 miljard parameters (Gemma 4 12B, ongeveer 6,2 GB) en zetten er meer of minder van op de kaart, alles in één sessie in september 2026.
| Hoeveel van het model op de kaart stond | Schrijft (tokens/s) |
|---|---|
| Alles | 35,6 |
| 28 van zijn lagen | 5,9 |
| 20 van zijn lagen | 4,3 |
| Ter vergelijking: een kleiner model (Gemma 4 E4B) op alleen de processor | 5,0 |
| Dat kleinere model, helemaal op de kaart | 72,5 |
Wat we hebben geleerd
1. Alles of niets
Alleen al een deel van het model naast de kaart maakte het 6 keer trager. Met 20 lagen op de kaart was het trager dan een kleiner model dat helemaal zonder kaart draaide. Half op de kaart is het slechtste van twee werelden.
2. De grootste is niet de beste
Het 12B-model paste wel helemaal op de kaart van 8 GB, voor één korte vraag. Toen de chat groeide, liep het elke keer vast: de kaart had bijna geen ruimte meer voor het gesprek. Het kleinere model had ongeveer 3 GB over en draaide met 63 tot 72 tokens per seconde.
3. Laat ruimte
Op een GTX 1650 met 4 GB werd een model van 4,2 GB op een kaart van 3,9 GB geperst, en het allereerste bericht mislukte met "niet genoeg geheugen". GreenCube houdt nu ongeveer 1,5 GB van de kaart vrij voor de chat en voor Windows.
Zo kies je een model voor je kaart
Check je VRAM
Taakbeheer → Prestaties → GPU → Toegewezen GPU-geheugen.
Modelgrootte + 1,5 GB
Het modelbestand plus ongeveer 1,5 GB moet in dat getal passen.
Bij twijfel kleiner
Een kleiner model helemaal op de kaart wint van een groter model half erop.
Of laat de app kiezen
GreenCube leest je kaart uit en kiest een model dat er ruim op past.
Echte snelheden op 10 pc's, van een GTX 1650 tot een RTX 2080 Ti: bekijk ze hier.
Vragen
Wat gebeurt er als een AI-model niet in de VRAM past?
Het deel dat niet past, draait vanuit het gewone geheugen, en alles wordt trager. Op onze kaart van 8 GB schreef een model met 28 van zijn lagen op de kaart 5,9 tokens per seconde in plaats van 35,6 met alle lagen: 6 keer trager.
Moet ik het grootste AI-model draaien dat mijn kaart kan laden?
Nee. Laat ruimte voor het gesprek. Een model met 12 miljard parameters paste voor één korte vraag op een kaart van 8 GB en liep daarna vast zodra de chat langer werd. Een kleiner model dat er ruim op past, was sneller en liep nooit vast.
Hoeveel VRAM moet ik vrijlaten?
GreenCube laat ongeveer 1,5 GB van de kaart vrij voor het gesprek en voor Windows. Zonder die ruimte had een kaart van 4 GB al bij het eerste bericht geen geheugen meer.
Je eigen AI, op je eigen pc
GreenCube draait op je computer: geen gebruikslimieten, geen abonnement, werkt zonder internet. €9,99, één keer betaald.
Haal GreenCube