Berapa VRAM yang dibutuhkan untuk AI? Kenapa model harus muat di GPU-mu
Jawaban singkat: AI yang muat utuh di memori kartu grafismu (VRAM) itu cepat. Yang meluber justru lebih lambat daripada tidak memakai kartu sama sekali, dan bisa crash. Lebih kecil dan utuh di kartu lebih baik daripada lebih besar dan setengahnya di kartu.
Tesnya
Desktop dengan AMD RX 5700 XT (VRAM 8 GB) dan RAM 48 GB. Kami memuat model 12 miliar parameter (Gemma 4 12B, sekitar 6,2 GB) dan menaruh lebih banyak atau lebih sedikit bagiannya di kartu, semua dalam satu sesi pada September 2026.
| Berapa bagian model yang ada di kartu | Menulis (token/detik) |
|---|---|
| Semuanya | 35,6 |
| 28 lapisannya | 5,9 |
| 20 lapisannya | 4,3 |
| Sebagai perbandingan: model lebih kecil (Gemma 4 E4B) di prosesor saja | 5,0 |
| Model kecil itu, semuanya di kartu | 72,5 |
Yang kami pelajari
1. Semua atau tidak sama sekali
Membiarkan sebagian kecil model di luar kartu membuatnya 6 kali lebih lambat. Dengan 20 lapisan di kartu, ia lebih lambat daripada model yang lebih kecil yang berjalan tanpa kartu sama sekali. Setengah di kartu adalah yang terburuk dari dua dunia.
2. Terbesar bukan berarti terbaik
Model 12B memang muat utuh di kartu 8 GB, untuk satu pertanyaan pendek. Begitu chat bertambah, ia crash setiap kali: kartu hampir tidak punya ruang tersisa untuk percakapan. Model yang lebih kecil punya sisa sekitar 3 GB dan berjalan 63 sampai 72 token per detik.
3. Sisakan ruang
Di GTX 1650 4 GB, model 4,2 GB dijejalkan ke kartu 3,9 GB, dan pesan pertama langsung gagal dengan "memori tidak cukup". GreenCube sekarang menyisakan sekitar 1,5 GB kartu kosong untuk chat dan untuk Windows.
Cara memilih model untuk kartumu
Cek VRAM-mu
Task Manager → Performance → GPU → Dedicated GPU memory.
Ukuran model + 1,5 GB
File model ditambah sekitar 1,5 GB harus muat di angka itu.
Ragu? Pilih yang lebih kecil
Model kecil yang utuh di kartu lebih baik daripada yang besar setengahnya di kartu.
Atau biarkan aplikasi memilih
GreenCube membaca kartumu dan memilih model yang muat dengan ruang tersisa.
Kecepatan nyata di 10 PC, dari GTX 1650 sampai RTX 5060: lihat di sini.
Pertanyaan
Apa yang terjadi kalau model AI tidak muat di VRAM?
Bagian yang tidak muat berjalan dari memori biasa, dan semuanya melambat. Di kartu 8 GB kami, model dengan 28 lapisannya di kartu menulis 5,9 token per detik, bukan 35,6 seperti saat semua lapisannya di kartu: 6 kali lebih lambat.
Haruskah aku menjalankan model AI terbesar yang bisa dimuat kartuku?
Tidak. Sisakan ruang untuk percakapan. Model 12 miliar parameter muat di kartu 8 GB untuk pertanyaan pendek, lalu crash begitu chat jadi lebih panjang. Model lebih kecil yang muat dengan ruang tersisa lebih cepat dan tidak pernah crash.
Berapa VRAM yang sebaiknya dibiarkan kosong?
GreenCube menyisakan sekitar 1,5 GB kartu kosong untuk percakapan dan untuk Windows. Tanpa ruang itu, kartu 4 GB kehabisan memori di pesan pertama.
AI milikmu sendiri, di PC-mu sendiri
GreenCube berjalan di komputermu: tanpa batas pemakaian, tanpa langganan, jalan tanpa internet. €9,99, bayar sekali.
Dapatkan GreenCube