Wie viel VRAM brauchst du für KI? Warum das Modell auf deine GPU passen muss
Kurze Antwort: Eine KI, die komplett in den Speicher deiner Grafikkarte (VRAM) passt, ist schnell. Eine, die überläuft, ist langsamer, als wenn du die Karte gar nicht nutzt, und kann abstürzen. Kleiner und ganz auf der Karte schlägt größer und halb drauf.
Der Test
Ein Desktop-PC mit einer AMD RX 5700 XT (8 GB VRAM) und 48 GB RAM. Wir haben ein Modell mit 12 Milliarden Parametern geladen (Gemma 4 12B, etwa 6,2 GB) und mehr oder weniger davon auf die Karte gelegt, alles in einer Sitzung im September 2026.
| Wie viel des Modells auf der Karte lag | Schreibt (Tokens/s) |
|---|---|
| Alles | 35,6 |
| 28 seiner Schichten | 5,9 |
| 20 seiner Schichten | 4,3 |
| Zum Vergleich: ein kleineres Modell (Gemma 4 E4B) nur auf dem Prozessor | 5,0 |
| Dieses kleinere Modell, ganz auf der Karte | 72,5 |
Was wir gelernt haben
1. Alles oder nichts
Schon ein Teil des Modells außerhalb der Karte machte es 6-mal langsamer. Mit 20 Schichten auf der Karte war es langsamer als ein kleineres Modell ganz ohne Karte. Halb auf der Karte ist das Schlechteste aus beiden Welten.
2. Das größte ist nicht das beste
Das 12B-Modell passte für eine kurze Frage komplett auf die Karte mit 8 GB. Als der Chat wuchs, stürzte es jedes Mal ab: Die Karte hatte kaum noch Platz für das Gespräch. Das kleinere Modell hatte etwa 3 GB Luft und lief mit 63 bis 72 Tokens pro Sekunde.
3. Lass Platz
Auf einer GTX 1650 mit 4 GB wurde ein Modell mit 4,2 GB auf eine Karte mit 3,9 GB gequetscht, und schon die allererste Nachricht scheiterte mit „nicht genug Speicher“. GreenCube hält jetzt etwa 1,5 GB der Karte frei für den Chat und für Windows.
So wählst du ein Modell für deine Karte
Prüf deinen VRAM
Task-Manager → Leistung → GPU → Dedizierter GPU-Speicher.
Modellgröße + 1,5 GB
Die Modelldatei plus etwa 1,5 GB sollte in diese Zahl passen.
Im Zweifel kleiner
Ein kleineres Modell ganz auf der Karte schlägt ein größeres halb drauf.
Oder lass die App wählen
GreenCube liest deine Karte aus und wählt ein Modell, das mit Luft passt.
Echte Geschwindigkeiten auf 10 PCs, von einer GTX 1650 bis zu einer RTX 2080 Ti: hier ansehen.
Fragen
Was passiert, wenn ein KI-Modell nicht in den VRAM passt?
Der Teil, der nicht passt, läuft aus dem normalen Arbeitsspeicher, und alles wird langsamer. Auf unserer Karte mit 8 GB schrieb ein Modell mit 28 seiner Schichten auf der Karte 5,9 Tokens pro Sekunde statt 35,6 mit allen: 6-mal langsamer.
Soll ich das größte KI-Modell laufen lassen, das meine Karte laden kann?
Nein. Lass Platz für das Gespräch. Ein Modell mit 12 Milliarden Parametern passte für eine kurze Frage auf eine Karte mit 8 GB und stürzte dann ab, sobald der Chat länger wurde. Ein kleineres Modell mit Luft war schneller und stürzte nie ab.
Wie viel VRAM sollte ich frei lassen?
GreenCube lässt etwa 1,5 GB der Karte für das Gespräch und für Windows frei. Ohne diesen Platz ging einer Karte mit 4 GB schon bei der ersten Nachricht der Speicher aus.
Deine eigene KI, auf deinem eigenen PC
GreenCube läuft auf deinem Computer: ohne Nutzungslimits, ohne Abo, auch ohne Internet. 9,99 €, einmal bezahlt.
GreenCube holen