GreenCube
HI
GreenCube लें

GreenCube ब्लॉग

क्या RX 5700 XT पर AI चलेगा? मापा गया: प्रति सेकंड 63–72 टोकन

हाँ: AMD RX 5700 XT (8 GB) ग्राफ़िक्स कार्ड और 48 GB RAM वाले डेस्कटॉप पर Gemma 4 E4B ने प्रति सेकंड 63–72 टोकन लिखे. यह आपके पढ़ने से तेज़ है.

63–72प्रति सेकंड टोकन, Gemma 4 E4B के साथ
14×प्रोसेसर से ज़्यादा तेज़ कार्ड पर
20–36Gemma 4 12B के साथ (सिर्फ़ छोटी चैट)

असल में इसका क्या मतलब है

कामइस PC पर समय
एक सामान्य जवाब लिखना (400 टोकन, लगभग आधा पेज)6 सेकंड
आपका दिया लंबा दस्तावेज़ पढ़ना (5,000 टोकन, लगभग 5 पेज)8 सेकंड

इस PC पर मापी गई रफ़्तार से निकाला गया: समय = लंबाई ÷ रफ़्तार, और असली जवाब को शुरू होने में भी एक पल लगता है. तुलना के लिए, 400 टोकन का जवाब लगभग आधा पेज होता है, और ज़्यादातर लोग प्रति सेकंड लगभग 4 शब्द पढ़ते हैं (Brysbaert, 2019).

हमने क्या मापा

लिखना यानी AI कितनी तेज़ी से अपना जवाब टाइप करता है, प्रति सेकंड टोकन में; टोकन किसी शब्द का एक हिस्सा होता है. पढ़ना यानी आप जो देते हैं उसे यह कितनी तेज़ी से लेता है: आपका सवाल, पेस्ट किया टेक्स्ट या PDF. पढ़ना हमेशा लिखने से बहुत तेज़ होता है, क्योंकि AI एक साथ कई टोकन पढ़ सकता है लेकिन उन्हें एक-एक करके लिखना पड़ता है.

क्याकहाँ चलानतीजामापा गया
Gemma 4 E4Bग्राफ़िक्स कार्ड63–72 टोकन प्रति सेकंड लिखना · 594–609 पढ़ना22 सितंबर 2026
Gemma 4 E4Bसिर्फ़ प्रोसेसर5 टोकन प्रति सेकंड लिखना · 357 पढ़ना22 सितंबर 2026
Gemma 4 12Bग्राफ़िक्स कार्ड20–36 टोकन प्रति सेकंड लिखना · 108–113 पढ़ना22 सितंबर 2026

हर संख्या कैसे मापी गई: हम कैसे मापते हैं, इस पर और

  1. llama.cpp का अपना स्पीड टेस्ट (llama-bench), वह इंजन जिस पर GreenCube चलता है, उन्हीं AI फ़ाइलों के साथ: 128 टोकन लिखे गए, 512 टोकन का टेक्स्ट पढ़ा गया.

जहाँ हमारे पास कई माप हैं, वहाँ हम रेंज दिखाते हैं: एक ही PC पर रफ़्तार हर माप में थोड़ी बदलती है.

इसका क्या मतलब है

काम ग्राफ़िक्स कार्ड करता है

वही PC, वही AI (Gemma 4 E4B): सिर्फ़ प्रोसेसर पर प्रति सेकंड 5 टोकन, ग्राफ़िक्स कार्ड पर 63–72, यानी लगभग 14 गुना तेज़. ग्राफ़िक्स कार्ड गेम्स के लिए एक साथ हज़ारों छोटे हिसाब करने के लिए बना है, और AI चलाना ज़्यादातर इसी तरह का गणित है. GreenCube शुरू होते समय दोनों का समय मापता है और तेज़ वाला इस्तेमाल करता है.

पूरा AI कार्ड पर समा जाता है

Gemma 4 E4B 4.2 GB की फ़ाइल है और कार्ड की अपनी मेमोरी (VRAM) 8 GB है. पूरा मॉडल समा जाता है और बातचीत के लिए जगह भी बचती है, इसलिए कार्ड को PC की बाकी धीमी मेमोरी का इंतज़ार कभी नहीं करना पड़ता. इतनी रफ़्तार की सबसे बड़ी वजह यही है.

बड़ा Gemma 4 12B

सिर्फ़ छोटी चैट के लिए. बड़े Gemma 4 12B (6.4 GB) ने छोटे सवाल पर प्रति सेकंड 20–36 टोकन लिखे, लेकिन जैसे ही चैट 8,192 टोकन (लंबी बातचीत) तक पहुँची, कार्ड लगभग भरा होने से यह क्रैश हो गया. इसीलिए GreenCube 12B सिर्फ़ 10 GB या उससे ज़्यादा वाले कार्ड पर सुझाता है.

तस्वीरें

बहुत संभव है, लेकिन हमने इस कार्ड पर अभी तस्वीर का समय नहीं मापा है. जब मापेंगे, संख्या यहाँ आएगी. तस्वीर के लिए लगभग 6 GB का अलग AI इस्तेमाल होता है और चैट के जवाब से कहीं ज़्यादा गणित लगता है, इसलिए यहाँ ग्राफ़िक्स और भी ज़्यादा मायने रखता है.

दूसरों से तुलना

Gemma 4 E4B के साथ हमने जिन 8 PC को मापा, उनमें लिखने की रफ़्तार में यह नंबर 2 पर है. RTX 2080 Ti 65–71 लिखता है, लगभग उतना ही. RTX 5060 56 (स्टार्टअप टेस्ट) लिखता है, यानी यह लगभग 20% तेज़ है.

हमने 8 GB वाले 4 कार्ड मापे, और उनमें बहुत फ़र्क है:

मेमोरी तय करती है कि कौन-सा AI समाएगा. कार्ड कितना नया है, यह तय करता है कि वह कितनी तेज़ी से चलेगा.

टेस्ट PC

एक असली टेस्टर का अपना PC, जैसे वे आम तौर पर इस्तेमाल करते हैं, कोई लैब मशीन नहीं:

अपना PC जाँचें

पता नहीं आपके PC में क्या है? 30 सेकंड लगते हैं:

  1. Task Manager (कार्य प्रबंधक) खोलने के लिए Ctrl + Shift + Esc दबाएँ.
  2. Performance (प्रदर्शन) पर जाएँ.
  3. Memory (मेमोरी) पर क्लिक करें: ऊपर दिखने वाली बड़ी संख्या आपकी RAM है.
  4. GPU पर क्लिक करें: ऊपर दिखने वाला नाम आपका कार्ड है, और Dedicated GPU memory (समर्पित GPU मेमोरी) आपकी VRAM है. सिर्फ़ Intel या AMD ग्राफ़िक्स दिखता है जिसकी अपनी मेमोरी नहीं? तो आपके पास अलग कार्ड नहीं है.

फिर पूरी तालिका में सबसे क़रीबी कार्ड ढूँढें. ज़्यादा VRAM वाला वही कार्ड बड़ा AI समा सकता है; उतनी ही मेमोरी वाला नया कार्ड आम तौर पर तेज़ होता है.

हमारे मापे दूसरे PC

क्या मेरे PC पर AI चलेगा? सभी 10 PC एक तालिका में, और आपका PC कैसा चलेगा.

सवाल

क्या RX 5700 XT पर AI लोकली चलेगा?

हाँ: AMD RX 5700 XT (8 GB) ग्राफ़िक्स कार्ड और 48 GB RAM वाले डेस्कटॉप पर Gemma 4 E4B ने प्रति सेकंड 63–72 टोकन लिखे. यह आपके पढ़ने से तेज़ है.

क्या RX 5700 XT पर AI से तस्वीरें बन सकती हैं?

बहुत संभव है, लेकिन हमने इस कार्ड पर अभी तस्वीर का समय नहीं मापा है. जब मापेंगे, संख्या यहाँ आएगी.

AI RX 5700 XT पर तेज़ है या प्रोसेसर पर?

कार्ड पर, बहुत ज़्यादा: प्रति सेकंड 63–72 टोकन, जबकि प्रोसेसर पर 5, यानी लगभग 14 गुना तेज़.

क्या RX 5700 XT पर Gemma 4 12B चलेगा?

सिर्फ़ छोटी चैट के लिए. बड़े Gemma 4 12B (6.4 GB) ने छोटे सवाल पर प्रति सेकंड 20–36 टोकन लिखे, लेकिन जैसे ही चैट 8,192 टोकन (लंबी बातचीत) तक पहुँची, कार्ड लगभग भरा होने से यह क्रैश हो गया. इसीलिए GreenCube 12B सिर्फ़ 10 GB या उससे ज़्यादा वाले कार्ड पर सुझाता है.

आपका अपना AI, आपके अपने PC पर

GreenCube आपके कंप्यूटर पर चलता है: इस्तेमाल की कोई सीमा नहीं, कोई सब्सक्रिप्शन नहीं, बिना इंटरनेट के चलता है. €9.99, एक बार.

GreenCube लें