AI के लिए कितनी VRAM चाहिए? मॉडल का आपके GPU में समाना क्यों ज़रूरी है
छोटा जवाब: जो AI पूरा ग्राफ़िक्स कार्ड की मेमोरी (VRAM) में समा जाए, वह तेज़ है. जो बाहर फैले, वह कार्ड इस्तेमाल न करने से भी धीमा है, और क्रैश हो सकता है. पूरा कार्ड पर छोटा मॉडल, आधा कार्ड पर बड़े मॉडल से बेहतर है.
टेस्ट
AMD RX 5700 XT (8 GB VRAM) और 48 GB RAM वाला डेस्कटॉप. हमने 12 अरब पैरामीटर वाला मॉडल (Gemma 4 12B, लगभग 6.2 GB) लोड किया और उसका कम-ज़्यादा हिस्सा कार्ड पर रखा, सब एक ही सेशन में, सितंबर 2026 में.
| मॉडल का कितना हिस्सा कार्ड पर था | लिखना (टोकन/सेकंड) |
|---|---|
| पूरा | 35.6 |
| इसकी 28 लेयर | 5.9 |
| इसकी 20 लेयर | 4.3 |
| तुलना के लिए: छोटा मॉडल (Gemma 4 E4B) सिर्फ़ प्रोसेसर पर | 5.0 |
| वही छोटा मॉडल, पूरा कार्ड पर | 72.5 |
हमने क्या सीखा
1. सब कुछ या कुछ नहीं
मॉडल का सिर्फ़ थोड़ा हिस्सा कार्ड से बाहर रखने पर यह 6 गुना धीमा हो गया. कार्ड पर 20 लेयर के साथ यह उस छोटे मॉडल से भी धीमा था जो बिना कार्ड के चल रहा था. आधा कार्ड पर होना दोनों दुनिया की सबसे बुरी चीज़ है.
2. सबसे बड़ा, सबसे अच्छा नहीं
12B मॉडल सच में एक छोटे सवाल के लिए 8 GB कार्ड पर पूरा समा गया. जैसे-जैसे चैट बढ़ी, यह हर बार क्रैश हुआ: कार्ड पर बातचीत के लिए लगभग जगह नहीं बची थी. छोटे मॉडल के पास लगभग 3 GB बची जगह थी और वह प्रति सेकंड 63 से 72 टोकन पर चला.
3. जगह छोड़ें
4 GB वाले GTX 1650 पर 4.2 GB का मॉडल 3.9 GB कार्ड में ठूँसा गया, और पहला ही मैसेज "पर्याप्त मेमोरी नहीं" के साथ फ़ेल हो गया. अब GreenCube चैट और Windows के लिए कार्ड का लगभग 1.5 GB खाली रखता है.
अपने कार्ड के लिए मॉडल कैसे चुनें
अपनी VRAM जाँचें
Task Manager → Performance → GPU → Dedicated GPU memory.
मॉडल का साइज़ + 1.5 GB
मॉडल फ़ाइल और लगभग 1.5 GB उस संख्या में समाने चाहिए.
शक हो तो छोटा लें
पूरा कार्ड पर छोटा मॉडल, आधा कार्ड पर बड़े से बेहतर है.
या ऐप को चुनने दें
GreenCube आपका कार्ड पढ़ता है और ऐसा मॉडल चुनता है जो जगह छोड़कर समाए.
GTX 1650 से RTX 5060 तक 10 PC पर असली रफ़्तार: यहाँ देखें.
सवाल
अगर AI मॉडल VRAM में न समाए तो क्या होता है?
जो हिस्सा नहीं समाता, वह सामान्य मेमोरी से चलता है, और सब कुछ धीमा हो जाता है. हमारे 8 GB कार्ड पर जिस मॉडल की 28 लेयर कार्ड पर थीं, उसने सभी लेयर कार्ड पर होने पर 35.6 के बजाय प्रति सेकंड 5.9 टोकन लिखे: 6 गुना धीमा.
क्या मुझे वह सबसे बड़ा AI मॉडल चलाना चाहिए जो मेरा कार्ड लोड कर सके?
नहीं. बातचीत के लिए जगह छोड़ें. 12 अरब पैरामीटर वाला मॉडल छोटे सवाल के लिए 8 GB कार्ड पर समा गया, फिर चैट लंबी होने पर क्रैश हो गया. जगह छोड़कर समाने वाला छोटा मॉडल ज़्यादा तेज़ था और कभी क्रैश नहीं हुआ.
कितनी VRAM खाली छोड़नी चाहिए?
GreenCube बातचीत और Windows के लिए कार्ड का लगभग 1.5 GB खाली रखता है. इस जगह के बिना 4 GB कार्ड की मेमोरी पहले ही मैसेज पर ख़त्म हो गई.
आपका अपना AI, आपके अपने PC पर
GreenCube आपके कंप्यूटर पर चलता है: इस्तेमाल की कोई सीमा नहीं, कोई सब्सक्रिप्शन नहीं, बिना इंटरनेट के चलता है. €9.99, एक बार.
GreenCube लें