Mô hình AI cục bộ tốt nhất cho máy bạn, theo RAM và VRAM (đo thực tế)
Trả lời ngắn: mô hình AI cục bộ tốt nhất cho máy của bạn là mô hình lớn nhất nằm trọn trên card đồ họa, còn dư khoảng 1,5 GB. Không có card? Dùng một mô hình nhỏ trong RAM. Mô hình nhỏ hơn nằm trọn trên card thắng mô hình lớn hơn bị tràn ra ngoài: chúng tôi đo được khi tràn thì chậm hơn 6 lần. Dưới đây là lựa chọn cho từng loại máy, với tốc độ chúng tôi đo trên 10 máy thật.
Mô hình tốt nhất cho máy bạn
| Máy của bạn | Cỡ mô hình vừa | Những gì chúng tôi đo |
|---|---|---|
| Laptop 8 GB, không có card đồ họa | Nhỏ, khoảng 2–3 GB (Gemma 4 E2B, 2,6 GB) | 5–7 token/giây trong chat thật; hãy đóng các ứng dụng khác trước |
| Laptop 16 GB, không có card đồ họa | Nhỏ để có tốc độ; khoảng 4 GB vẫn chạy nhưng chậm | E2B 14–18 token/giây; E4B 8–10 |
| Card đồ họa 4 GB | Khoảng 2–3 GB vừa trọn; 4 GB bị tràn | E4B (4,2 GB, một phần trong RAM) khoảng 20 token/giây trên GTX 1650 |
| Card đồ họa 6 GB | Khoảng 4–4,5 GB | E4B 35–38 token/giây trên GTX 1660 Super |
| Card đồ họa 8 GB | Khoảng 4–6 GB | E4B 56–72 trên các card gần đây (khoảng 11 trên RX 580 cũ) |
| Card đồ họa 12 GB+ | Khoảng 6–10 GB: mô hình cỡ 12B | E4B 50–55 trên card 12 GB; 12B cần 10 GB+ cho chat dài |
Mỗi card có trang riêng: Máy tôi có chạy được AI không? Hoặc gõ tên card vào công cụ kiểm tra.
Vì sao "vừa" quan trọng hơn "lớn nhất"
Tràn ra ngoài là còn chậm hơn không có card
Trên RX 5700 XT 8 GB, Gemma 4 12B viết 35,6 token mỗi giây khi nằm trọn trên card, 5,9 khi một phần nằm ngoài card, và 4,3 khi còn ít hơn nằm trên card: chậm hơn một mô hình nhỏ hơn chạy không có card. Bài thử VRAM đầy đủ.
Vừa với một câu hỏi, crash trong cuộc chat dài
Cùng mô hình 12B đó vừa card 8 GB với một câu hỏi ngắn, rồi lần nào cũng crash khi cuộc chat dài ra: cuộc trò chuyện cũng cần chỗ. Khoảng dư 1,5 GB là để dành cho việc đó.
Nhỏ thường là đủ
Trên laptop 16 GB, Gemma 4 E2B đưa ra một câu trả lời học tập đầy đủ trong 20 giây và đúng 5 trên 5 câu kiểm tra kiến thức nhanh; E4B giải thích tốt hơn nhưng mất 112 giây. E2B và E4B, đo thực tế.
Các mô hình chúng tôi đã đo
| Mô hình | Dung lượng tệp | Hợp nhất với | Giấy phép |
|---|---|---|---|
| Gemma 4 E2B | 2,6 GB | Laptop, RAM 8–16 GB | Apache 2.0 |
| Gemma 4 E4B | 4,2 GB | Card đồ họa từ 6 GB trở lên | Apache 2.0 |
| Gemma 4 12B | khoảng 6,4 GB | Card đồ họa từ 10–12 GB trở lên | Apache 2.0 |
Đây là các tệp đi kèm GreenCube và là những tệp duy nhất chúng tôi đã đo thời gian, nên chúng tôi chỉ đưa tốc độ cho chúng. Các họ mô hình khác cũng theo cùng quy tắc: xem dung lượng tệp, cộng khoảng 1,5 GB, rồi so với VRAM của bạn. Yêu cầu chi tiết của Gemma 4.
Cách kiểm tra VRAM
- Nhấn Ctrl + Shift + Esc để mở Task Manager (Trình quản lý tác vụ).
- Vào Performance (Hiệu suất), rồi GPU.
- Dedicated GPU memory (bộ nhớ GPU riêng) là VRAM của bạn. Không có bộ nhớ riêng? Hãy dùng một mô hình nhỏ trong RAM.
Không muốn tự chọn? GreenCube đọc card và RAM của bạn rồi chọn mô hình vừa, còn dư chỗ. Các ứng dụng miễn phí như LM Studio, Jan và Ollama để bạn tự chọn: so sánh 12 ứng dụng.
Câu hỏi
Mô hình AI cục bộ tốt nhất là gì?
Mô hình lớn nhất nằm trọn trên card đồ họa mà còn dư khoảng 1,5 GB. Một mô hình nhỏ hơn nằm trọn trên card thắng một mô hình lớn hơn bị tràn sang RAM: trong bài thử của chúng tôi, một mô hình có một phần nằm ngoài card 8 GB chạy chậm hơn 6 lần.
Mô hình AI cục bộ tốt nhất cho laptop không có card đồ họa là gì?
Một mô hình nhỏ. Gemma 4 E2B (2,6 GB) viết 14 đến 18 token mỗi giây trên laptop 16 GB và 5 đến 7 trên laptop 8 GB trong các cuộc chat thật; E4B lớn hơn mất 112 giây cho một câu trả lời mà E2B đưa ra trong 20 giây.
Mô hình AI cục bộ tốt nhất cho card đồ họa 8 GB là gì?
Một mô hình khoảng 4 đến 5 GB, như Gemma 4 E4B (4,2 GB): nó viết 56 đến 72 token mỗi giây trên các card chơi game 8 GB. Một mô hình 12 tỷ tham số vừa với câu hỏi ngắn nhưng bị crash trong các cuộc chat dài.
Làm sao biết một mô hình có vừa card đồ họa của tôi không?
Lấy dung lượng tệp mô hình rồi cộng khoảng 1,5 GB cho cuộc trò chuyện và Windows. Nếu kết quả nhỏ hơn bộ nhớ GPU riêng của card (Task Manager, Performance, GPU), mô hình sẽ vừa.
Tôi có phải tự chọn mô hình không?
Trong các ứng dụng miễn phí như LM Studio, Jan hay Ollama thì có. GreenCube đọc card và RAM của bạn rồi chọn giúp mô hình vừa.
AI của riêng bạn, trên máy của riêng bạn
GreenCube chạy trên máy tính của bạn: không giới hạn sử dụng, không thuê bao, chạy không cần internet. €9,99, trả một lần.
Mua GreenCube