GreenCube
HI
GreenCube लें

GreenCube ब्लॉग

आपके PC के लिए सबसे अच्छा लोकल AI मॉडल, RAM और VRAM के हिसाब से (मापा हुआ)

छोटा जवाब: आपके PC के लिए सबसे अच्छा लोकल AI मॉडल वह है जो लगभग 1.5 GB बचाकर पूरा आपके ग्राफ़िक्स कार्ड पर समा जाने वाला सबसे बड़ा मॉडल हो. कार्ड नहीं है? आपकी RAM में एक छोटा मॉडल. पूरा कार्ड पर छोटा मॉडल, बाहर फैलने वाले बड़े मॉडल से बेहतर है: हमने बाहर फैलने को 6 गुना धीमा मापा. नीचे हर तरह के PC के लिए चुनाव है, 10 असली PC पर मापी गई रफ़्तार के साथ.

+1.5 GBमॉडल फ़ाइल और लगभग 1.5 GB आपकी VRAM में समाने चाहिए
6×धीमा, जब मॉडल का कुछ हिस्सा कार्ड पर न समाए
10असली PC जो हमने मापे, लैपटॉप से गेमिंग डेस्कटॉप तक

आपके PC के लिए सबसे अच्छा मॉडल

आपका PCसमाने वाले मॉडल का साइज़हमने क्या मापा
8 GB लैपटॉप, कोई ग्राफ़िक्स कार्ड नहींछोटा, लगभग 2–3 GB (Gemma 4 E2B, 2.6 GB)असली चैट में 5–7 टोकन/सेकंड; पहले दूसरे ऐप बंद करें
16 GB लैपटॉप, कोई ग्राफ़िक्स कार्ड नहींरफ़्तार के लिए छोटा; लगभग 4 GB चलता है, पर धीरेE2B 14–18 टोकन/सेकंड; E4B 8–10
4 GB ग्राफ़िक्स कार्डलगभग 2–3 GB पूरा समाता है; 4 GB बाहर फैलता हैGTX 1650 पर E4B (4.2 GB, कुछ हिस्सा RAM में) लगभग 20 टोकन/सेकंड
6 GB ग्राफ़िक्स कार्डलगभग 4–4.5 GBGTX 1660 Super पर E4B 35–38 टोकन/सेकंड
8 GB ग्राफ़िक्स कार्डलगभग 4–6 GBनए कार्ड पर E4B 56–72 (पुराने RX 580 पर लगभग 11)
12 GB+ ग्राफ़िक्स कार्डलगभग 6–10 GB: 12B श्रेणी के मॉडल12 GB पर E4B 50–55; लंबी चैट के लिए 12B को 10 GB+ चाहिए

हर कार्ड का अपना पेज: क्या मेरे PC पर AI चलेगा? या चेकर में अपना कार्ड लिखें.

"सबसे बड़े" से ज़्यादा ज़रूरी "समाना" क्यों है

बाहर फैला, तो बिना कार्ड से भी धीमा

8 GB वाले RX 5700 XT पर Gemma 4 12B ने पूरा कार्ड पर होने पर प्रति सेकंड 35.6 टोकन लिखे, कुछ हिस्सा कार्ड से बाहर होने पर 5.9, और कार्ड पर और भी कम होने पर 4.3: बिना कार्ड के चलने वाले छोटे मॉडल से भी धीमा. पूरा VRAM टेस्ट.

एक सवाल के लिए समाता है, लंबी चैट में क्रैश

वही 12B मॉडल छोटे सवाल के लिए 8 GB कार्ड पर समा गया, फिर हर बार चैट बढ़ने पर क्रैश हो गया: बातचीत को भी जगह चाहिए. 1.5 GB की बची जगह इसी के लिए है.

अक्सर छोटा ही काफ़ी है

16 GB लैपटॉप पर Gemma 4 E2B ने पढ़ाई का पूरा जवाब 20 सेकंड में दिया और 5 में से 5 छोटे तथ्य-जाँच सवाल सही किए; E4B ने बेहतर समझाया, लेकिन 112 सेकंड लिए. E2B बनाम E4B, मापकर.

जो मॉडल हमने मापे

मॉडलफ़ाइल साइज़सबसे अच्छालाइसेंस
Gemma 4 E2B2.6 GBलैपटॉप पर, 8–16 GB RAMApache 2.0
Gemma 4 E4B4.2 GB6 GB या ज़्यादा वाले ग्राफ़िक्स कार्ड परApache 2.0
Gemma 4 12Bलगभग 6.4 GB10–12 GB या ज़्यादा वाले ग्राफ़िक्स कार्ड परApache 2.0

ये वही फ़ाइलें हैं जो GreenCube के साथ आती हैं और सिर्फ़ इन्हीं का हमने समय मापा है, इसलिए हम सिर्फ़ इन्हीं की रफ़्तार बताते हैं. दूसरे मॉडल परिवार भी इसी नियम पर चलते हैं: फ़ाइल साइज़ देखें, लगभग 1.5 GB जोड़ें, और अपनी VRAM से तुलना करें. Gemma 4 की ज़रूरतें विस्तार से.

अपनी VRAM कैसे जाँचें

  1. Task Manager (कार्य प्रबंधक) खोलने के लिए Ctrl + Shift + Esc दबाएँ.
  2. Performance (प्रदर्शन) पर जाएँ, फिर GPU पर.
  3. Dedicated GPU memory (समर्पित GPU मेमोरी) आपकी VRAM है. कोई समर्पित मेमोरी नहीं? RAM में छोटा मॉडल इस्तेमाल करें.

चुनना ही नहीं चाहते? GreenCube आपका कार्ड और RAM पढ़ता है और जगह बचाकर समाने वाला मॉडल चुनता है. LM Studio, Jan और Ollama जैसे मुफ़्त ऐप आपको ख़ुद चुनने देते हैं: 12 ऐप की तुलना.

सवाल

सबसे अच्छा लोकल AI मॉडल कौन-सा है?

वह सबसे बड़ा मॉडल जो लगभग 1.5 GB बचाकर पूरा आपके ग्राफ़िक्स कार्ड पर समा जाए. पूरा कार्ड पर छोटा मॉडल, RAM में फैलने वाले बड़े मॉडल से बेहतर है: हमारे टेस्ट में, जिस मॉडल का कुछ हिस्सा 8 GB कार्ड से बाहर था, वह 6 गुना धीमा चला.

ग्राफ़िक्स कार्ड के बिना लैपटॉप के लिए सबसे अच्छा लोकल AI मॉडल कौन-सा है?

एक छोटा मॉडल. असली चैट में Gemma 4 E2B (2.6 GB) ने 16 GB लैपटॉप पर प्रति सेकंड 14 से 18 टोकन लिखे और 8 GB लैपटॉप पर 5 से 7; बड़े E4B को उस जवाब में 112 सेकंड लगे जो E2B ने 20 में दिया.

8 GB ग्राफ़िक्स कार्ड के लिए सबसे अच्छा लोकल AI मॉडल कौन-सा है?

लगभग 4 से 5 GB का मॉडल, जैसे Gemma 4 E4B (4.2 GB): इसने 8 GB गेमिंग कार्ड पर प्रति सेकंड 56 से 72 टोकन लिखे. 12 अरब पैरामीटर वाला मॉडल छोटे सवालों के लिए समा गया, लेकिन लंबी चैट में क्रैश हो गया.

मुझे कैसे पता चले कि कोई मॉडल मेरे ग्राफ़िक्स कार्ड में समाता है?

मॉडल फ़ाइल का साइज़ लें और बातचीत और Windows के लिए लगभग 1.5 GB जोड़ें. अगर यह आपके कार्ड की Dedicated GPU memory (Task Manager, Performance, GPU) से कम है, तो मॉडल समा जाता है.

क्या मुझे ख़ुद मॉडल चुनना पड़ेगा?

LM Studio, Jan या Ollama जैसे मुफ़्त ऐप में, हाँ. GreenCube आपका कार्ड और RAM पढ़ता है और आपके लिए वह मॉडल चुनता है जो समा जाए.

आपका अपना AI, आपके अपने PC पर

GreenCube आपके कंप्यूटर पर चलता है: इस्तेमाल की कोई सीमा नहीं, कोई सब्सक्रिप्शन नहीं, बिना इंटरनेट के चलता है. €9.99, एक बार.

GreenCube लें