Yapay zekâ için ne kadar VRAM gerekir? Model neden ekran kartına sığmalı
Kısa yanıt: tamamen ekran kartının belleğine (VRAM) sığan bir yapay zekâ hızlıdır. Taşan bir yapay zekâ kartı hiç kullanmamaktan bile yavaştır ve çökebilir. Küçük ve tamamen kartta olan, büyük ve yarısı kartta olanı yener.
Test
AMD RX 5700 XT (8 GB VRAM) ve 48 GB RAM'li bir masaüstü. 12 milyar parametreli bir model (Gemma 4 12B, yaklaşık 6,2 GB) yükledik ve az ya da çok kısmını karta koyduk; hepsi Eylül 2026'da tek bir oturumda.
| Modelin ne kadarı karttaydı | Yazma (token/sn) |
|---|---|
| Tamamı | 35,6 |
| 28 katmanı | 5,9 |
| 20 katmanı | 4,3 |
| Karşılaştırma için: daha küçük bir model (Gemma 4 E4B), yalnızca işlemcide | 5,0 |
| Aynı küçük model, tamamı kartta | 72,5 |
Öğrendiklerimiz
1. Ya hep ya hiç
Modelin yalnızca bir kısmını kartın dışında bırakmak onu 6 kat yavaşlattı. 20 katman karttayken, hiç kart kullanmadan çalışan daha küçük bir modelden bile yavaştı. Yarısı kartta olmak iki dünyanın da en kötüsü.
2. En büyük, en iyi değil
12B modeli kısa bir soru için 8 GB'lık karta tamamen sığdı. Sohbet uzadıkça her seferinde çöktü: kartta sohbet için neredeyse hiç yer kalmamıştı. Küçük modelin yaklaşık 3 GB boş yeri vardı ve saniyede 63 ila 72 tokenla çalıştı.
3. Yer bırak
4 GB'lık bir GTX 1650'de 4,2 GB'lık bir model 3,9 GB'lık karta sıkıştırıldı ve daha ilk mesaj "yeterli bellek yok" hatasıyla başarısız oldu. GreenCube artık sohbet ve Windows için kartın yaklaşık 1,5 GB'ını boş tutuyor.
Kartın için model nasıl seçilir
VRAM'ini kontrol et
Görev Yöneticisi → Performans → GPU → Ayrılmış GPU belleği.
Model boyutu + 1,5 GB
Model dosyası artı yaklaşık 1,5 GB bu sayıya sığmalı.
Emin değilsen küçüğünü seç
Tamamen kartta olan küçük bir model, yarısı kartta olan büyük bir modeli yener.
Ya da uygulama seçsin
GreenCube kartını okur ve bol yer bırakarak sığan bir model seçer.
GTX 1650'den RTX 5060'a 10 PC'de gerçek hızlar: buradan bak.
Sorular
Bir yapay zekâ modeli VRAM'e sığmazsa ne olur?
Sığmayan kısım normal bellekten çalışır ve her şey yavaşlar. 8 GB'lık kartımızda katmanlarının 28'i kartta olan bir model, hepsi kartta olduğunda yazdığı saniyede 35,6 token yerine 5,9 token yazdı: 6 kat daha yavaş.
Kartımın yükleyebildiği en büyük yapay zekâ modelini mi çalıştırmalıyım?
Hayır. Sohbete yer bırak. 12 milyar parametreli bir model kısa bir soru için 8 GB'lık bir karta sığdı, sohbet uzayınca çöktü. Bol yer bırakarak sığan daha küçük bir model daha hızlıydı ve hiç çökmedi.
Ne kadar VRAM boş bırakmalıyım?
GreenCube kartın yaklaşık 1,5 GB'ını sohbet ve Windows için boş bırakır. Bu yer olmadan 4 GB'lık bir kartın belleği ilk mesajda tükendi.
Kendi yapay zekân, kendi PC'nde
GreenCube bilgisayarında çalışır: kullanım sınırı yok, abonelik yok, internetsiz çalışır. 9,99 €, tek seferlik ödeme.
GreenCube'u al