AI cần bao nhiêu VRAM? Vì sao mô hình phải nằm gọn trên GPU
Trả lời ngắn: một AI nằm gọn hoàn toàn trong bộ nhớ card đồ họa (VRAM) thì nhanh. Một AI tràn ra ngoài thì còn chậm hơn cả không dùng card, và có thể crash. Nhỏ hơn mà nằm trọn trên card thì hơn lớn hơn mà chỉ nằm một nửa.
Bài thử
Một máy bàn có AMD RX 5700 XT (8 GB VRAM) và 48 GB RAM. Chúng tôi tải một mô hình 12 tỷ tham số (Gemma 4 12B, khoảng 6,2 GB) và đặt nhiều hoặc ít phần của nó lên card, tất cả trong một phiên vào tháng 9 năm 2026.
| Bao nhiêu phần mô hình nằm trên card | Viết (token/giây) |
|---|---|
| Toàn bộ | 35,6 |
| 28 lớp | 5,9 |
| 20 lớp | 4,3 |
| Để so sánh: một mô hình nhỏ hơn (Gemma 4 E4B) chỉ trên bộ xử lý | 5,0 |
| Cùng mô hình nhỏ hơn đó, toàn bộ trên card | 72,5 |
Những gì chúng tôi rút ra
1. Tất cả hoặc không gì cả
Chỉ cần để một phần mô hình ra ngoài card là nó chậm hơn 6 lần. Với 20 lớp trên card, nó còn chậm hơn một mô hình nhỏ hơn chạy hoàn toàn không có card. Một nửa trên card là tệ nhất của cả hai.
2. Lớn nhất không phải là tốt nhất
Mô hình 12B đúng là nằm trọn trên card 8 GB, với một câu hỏi ngắn. Khi cuộc chat dài ra, lần nào nó cũng crash: card gần như không còn chỗ cho cuộc trò chuyện. Mô hình nhỏ hơn còn dư khoảng 3 GB và chạy 63 đến 72 token mỗi giây.
3. Chừa chỗ
Trên GTX 1650 4 GB, một mô hình 4,2 GB bị nhét vào card 3,9 GB, và ngay tin nhắn đầu tiên đã báo lỗi "không đủ bộ nhớ". Giờ GreenCube giữ khoảng 1,5 GB trên card để trống cho chat và cho Windows.
Cách chọn mô hình cho card của bạn
Kiểm tra VRAM
Task Manager → Performance → GPU → Dedicated GPU memory.
Dung lượng mô hình + 1,5 GB
Tệp mô hình cộng khoảng 1,5 GB phải vừa trong con số đó.
Phân vân thì chọn nhỏ hơn
Mô hình nhỏ nằm trọn trên card hơn mô hình lớn chỉ nằm một nửa.
Hoặc để ứng dụng chọn
GreenCube đọc thông tin card và chọn mô hình vừa, còn dư chỗ.
Tốc độ thật trên 10 máy, từ GTX 1650 đến RTX 5060: xem ở đây.
Câu hỏi
Chuyện gì xảy ra nếu mô hình AI không vừa VRAM?
Phần không vừa sẽ chạy từ bộ nhớ thường, và mọi thứ chậm đi. Trên card 8 GB của chúng tôi, một mô hình có 28 lớp trên card viết 5,9 token mỗi giây thay vì 35,6 khi có toàn bộ các lớp: chậm hơn 6 lần.
Tôi có nên chạy mô hình AI lớn nhất mà card tải được không?
Không. Hãy chừa chỗ cho cuộc trò chuyện. Một mô hình 12 tỷ tham số vừa trên card 8 GB với một câu hỏi ngắn, rồi bị crash khi cuộc chat dài hơn. Một mô hình nhỏ hơn vừa thoải mái thì nhanh hơn và không bao giờ crash.
Nên để trống bao nhiêu VRAM?
GreenCube để trống khoảng 1,5 GB trên card cho cuộc trò chuyện và cho Windows. Không có khoảng trống đó, một card 4 GB đã hết bộ nhớ ngay tin nhắn đầu tiên.
AI của riêng bạn, trên máy của riêng bạn
GreenCube chạy trên máy tính của bạn: không giới hạn sử dụng, không thuê bao, chạy không cần internet. €9,99, trả một lần.
Mua GreenCube