Najlepszy lokalny model AI dla twojego komputera według RAM i VRAM (zmierzone)
Krótka odpowiedź: najlepszy lokalny model AI dla twojego komputera to największy, który w całości mieści się na karcie graficznej, z zapasem około 1,5 GB. Nie masz karty? Mały model w RAM. Mniejszy model w całości na karcie wygrywa z większym, który się z niej wylewa: gdy model się wylewa, zmierzyliśmy działanie 6 razy wolniejsze. Poniżej wybór dla każdego rodzaju komputera, z prędkościami zmierzonymi na 10 prawdziwych komputerach.
Najlepszy model dla twojego komputera
| Twój komputer | Rozmiar modelu, który się zmieści | Co zmierzyliśmy |
|---|---|---|
| Laptop z 8 GB, bez karty graficznej | Mały, około 2–3 GB (Gemma 4 E2B, 2,6 GB) | 5–7 tokenów/s w prawdziwych czatach; najpierw zamknij inne aplikacje |
| Laptop z 16 GB, bez karty graficznej | Mały dla prędkości; około 4 GB działa, ale wolno | E2B 14–18 tokenów/s; E4B 8–10 |
| Karta graficzna z 4 GB | Około 2–3 GB mieści się w całości; 4 GB się wylewa | E4B (4,2 GB, częściowo w RAM) około 20 tokenów/s na GTX 1650 |
| Karta graficzna z 6 GB | Około 4–4,5 GB | E4B 35–38 tokenów/s na GTX 1660 Super |
| Karta graficzna z 8 GB | Około 4–6 GB | E4B 56–72 na nowszych kartach (około 11 na starym RX 580) |
| Karta graficzna z 12 GB lub więcej | Około 6–10 GB: modele klasy 12B | E4B 50–55 na 12 GB; 12B potrzebuje co najmniej 10 GB do długich czatów |
Każda karta ma własną stronę: Czy mój komputer uruchomi AI? Albo wpisz swoją kartę do sprawdzarki.
Dlaczego „mieści się” jest ważniejsze niż „największy”
Gdy model się wylewa, jest wolniej niż bez karty
Na RX 5700 XT z 8 GB model Gemma 4 12B pisał 35,6 tokena na sekundę w całości na karcie, 5,9, gdy część była poza kartą, i 4,3, gdy na karcie było jeszcze mniej: wolniej niż mniejszy model działający w ogóle bez karty. Pełny test VRAM.
Mieści się na jedno pytanie, wysypuje się w długim czacie
Ten sam model 12B zmieścił się na karcie z 8 GB przy krótkim pytaniu, a potem wysypywał się za każdym razem, gdy czat rósł: rozmowa też potrzebuje miejsca. Do tego służy zapas 1,5 GB.
Mały często wystarczy
Na laptopie z 16 GB model Gemma 4 E2B dał pełną odpowiedź do nauki w 20 sekund i poprawnie przeszedł 5 z 5 szybkich sprawdzianów faktów; E4B tłumaczył lepiej, ale potrzebował 112 sekund. E2B kontra E4B, zmierzone.
Modele, które zmierzyliśmy
| Model | Rozmiar pliku | Najlepszy na | Licencja |
|---|---|---|---|
| Gemma 4 E2B | 2,6 GB | Laptopy, 8–16 GB RAM | Apache 2.0 |
| Gemma 4 E4B | 4,2 GB | Karty graficzne z 6 GB lub więcej | Apache 2.0 |
| Gemma 4 12B | około 6,4 GB | Karty graficzne z 10–12 GB lub więcej | Apache 2.0 |
To pliki, które dostarcza GreenCube, i jedyne, których czas zmierzyliśmy, więc tylko dla nich podajemy prędkości. Inne rodziny modeli działają według tej samej zasady: sprawdź rozmiar pliku, dodaj około 1,5 GB i porównaj ze swoją VRAM. Wymagania Gemma 4 w szczegółach.
Jak sprawdzić VRAM
- Naciśnij Ctrl + Shift + Esc, żeby otworzyć Menedżera zadań.
- Przejdź do Wydajność, a potem GPU.
- Dedykowana pamięć GPU to twoja VRAM. Brak dedykowanej pamięci? Użyj małego modelu w RAM.
Wolisz w ogóle nie wybierać? GreenCube odczytuje twoją kartę i RAM i wybiera model, który się zmieści, z zapasem. Darmowe aplikacje, takie jak LM Studio, Jan i Ollama, pozwalają wybrać samemu: 12 aplikacji w porównaniu.
Pytania
Jaki jest najlepszy lokalny model AI?
Największy model, który w całości mieści się na karcie graficznej z zapasem około 1,5 GB. Mniejszy model w całości na karcie wygrywa z większym, który wylewa się do RAM: w naszym teście model, którego część nie zmieściła się na karcie z 8 GB, działał 6 razy wolniej.
Jaki jest najlepszy lokalny model AI na laptopa bez karty graficznej?
Mały. Model Gemma 4 E2B (2,6 GB) pisał w prawdziwych czatach od 14 do 18 tokenów na sekundę na laptopie z 16 GB i od 5 do 7 na laptopie z 8 GB; większy E4B potrzebował 112 sekund na odpowiedź, którą E2B dał w 20.
Jaki jest najlepszy lokalny model AI na kartę graficzną z 8 GB?
Model o rozmiarze około 4–5 GB, taki jak Gemma 4 E4B (4,2 GB): pisał od 56 do 72 tokenów na sekundę na kartach do gier z 8 GB. Model z 12 miliardami parametrów mieścił się przy krótkich pytaniach, ale wysypywał się w długich czatach.
Skąd mam wiedzieć, czy model zmieści się na mojej karcie graficznej?
Weź rozmiar pliku modelu i dodaj około 1,5 GB na rozmowę i Windows. Jeśli wynik jest mniejszy niż dedykowana pamięć GPU twojej karty (Menedżer zadań, Wydajność, GPU), model się zmieści.
Czy muszę sam wybierać model?
W darmowych aplikacjach, takich jak LM Studio, Jan czy Ollama, tak. GreenCube odczytuje twoją kartę i RAM i sam wybiera za ciebie model, który się zmieści.
Twoje własne AI, na twoim własnym komputerze
GreenCube działa na twoim komputerze: bez limitów użycia, bez subskrypcji, działa bez internetu. 9,99 €, płatne raz.
Kup GreenCube