Ile VRAM potrzeba do AI? Dlaczego model musi zmieścić się na twojej karcie
Krótka odpowiedź: AI, które w całości mieści się w pamięci twojej karty graficznej (VRAM), jest szybkie. Takie, które się z niej wylewa, jest wolniejsze, niż gdybyś w ogóle nie używał karty, i może się wysypać. Mniejsze i w całości na karcie wygrywa z większym i do połowy.
Test
Komputer stacjonarny z AMD RX 5700 XT (8 GB VRAM) i 48 GB RAM. Załadowaliśmy model z 12 miliardami parametrów (Gemma 4 12B, około 6,2 GB) i kładliśmy go na kartę w większej lub mniejszej części, wszystko w jednej sesji we wrześniu 2026 r.
| Ile modelu było na karcie | Pisze (tokeny/s) |
|---|---|
| Całość | 35,6 |
| 28 jego warstw | 5,9 |
| 20 jego warstw | 4,3 |
| Dla porównania: mniejszy model (Gemma 4 E4B) na samym procesorze | 5,0 |
| Ten mniejszy model, w całości na karcie | 72,5 |
Czego się dowiedzieliśmy
1. Wszystko albo nic
Wystarczyło trzymać część modelu poza kartą, żeby był 6 razy wolniejszy. Z 20 warstwami na karcie był wolniejszy niż mniejszy model działający w ogóle bez karty. Połowa na karcie to najgorsze z obu światów.
2. Największy nie znaczy najlepszy
Model 12B zmieścił się w całości na karcie z 8 GB, na jedno krótkie pytanie. Gdy czat rósł, za każdym razem się wysypywał: na karcie prawie nie zostało miejsca na rozmowę. Mniejszy model miał około 3 GB zapasu i działał z prędkością 63–72 tokenów na sekundę.
3. Zostaw miejsce
Na GTX 1650 z 4 GB model o rozmiarze 4,2 GB wciśnięto na kartę z 3,9 GB i już pierwsza wiadomość skończyła się błędem „za mało pamięci”. GreenCube trzyma teraz na karcie około 1,5 GB wolnego na czat i dla Windows.
Jak dobrać model do karty
Sprawdź VRAM
Menedżer zadań → Wydajność → GPU → Dedykowana pamięć GPU.
Rozmiar modelu + 1,5 GB
Plik modelu plus około 1,5 GB powinien zmieścić się w tej liczbie.
W razie wątpliwości mniejszy
Mniejszy model w całości na karcie wygrywa z większym do połowy.
Albo pozwól wybrać aplikacji
GreenCube odczytuje twoją kartę i wybiera model, który mieści się z zapasem.
Prawdziwe prędkości na 10 komputerach, od GTX 1650 po RTX 2080 Ti: zobacz tutaj.
Pytania
Co się dzieje, gdy model AI nie mieści się w VRAM?
Część, która się nie mieści, działa ze zwykłej pamięci i wszystko zwalnia. Na naszej karcie z 8 GB model z 28 warstwami na karcie pisał 5,9 tokena na sekundę zamiast 35,6 ze wszystkimi: 6 razy wolniej.
Czy uruchamiać największy model AI, jaki karta zdoła załadować?
Nie. Zostaw miejsce na rozmowę. Model z 12 miliardami parametrów zmieścił się na karcie z 8 GB na krótkie pytanie, a potem wysypał się, gdy czat się wydłużył. Mniejszy model, który mieścił się z zapasem, był szybszy i nigdy się nie wysypał.
Ile VRAM zostawić wolnego?
GreenCube zostawia na karcie około 1,5 GB wolnego na rozmowę i dla Windows. Bez tego zapasu karcie z 4 GB zabrakło pamięci już przy pierwszej wiadomości.
Twoje własne AI, na twoim własnym komputerze
GreenCube działa na twoim komputerze: bez limitów użycia, bez subskrypcji, działa bez internetu. 9,99 €, płatne raz.
Kup GreenCube