GreenCube
HI
GreenCube लें

GreenCube ब्लॉग

क्या RTX 5060 पर AI चलेगा? मापा गया: प्रति सेकंड 56 टोकन

हाँ: NVIDIA RTX 5060 (8 GB) ग्राफ़िक्स कार्ड और 32 GB RAM वाले डेस्कटॉप पर Gemma 4 E4B ने प्रति सेकंड 56 टोकन लिखे. यह आपके पढ़ने से तेज़ है.

56प्रति सेकंड टोकन, Gemma 4 E4B के साथ
4.6×प्रोसेसर से ज़्यादा तेज़ कार्ड पर

असल में इसका क्या मतलब है

कामइस PC पर समय
एक सामान्य जवाब लिखना (400 टोकन, लगभग आधा पेज)7 सेकंड

इस PC पर मापी गई रफ़्तार से निकाला गया: समय = लंबाई ÷ रफ़्तार, और असली जवाब को शुरू होने में भी एक पल लगता है. तुलना के लिए, 400 टोकन का जवाब लगभग आधा पेज होता है, और ज़्यादातर लोग प्रति सेकंड लगभग 4 शब्द पढ़ते हैं (Brysbaert, 2019).

हमने क्या मापा

लिखना यानी AI कितनी तेज़ी से अपना जवाब टाइप करता है, प्रति सेकंड टोकन में; टोकन किसी शब्द का एक हिस्सा होता है. पढ़ना यानी आप जो देते हैं उसे यह कितनी तेज़ी से लेता है: आपका सवाल, पेस्ट किया टेक्स्ट या PDF. पढ़ना हमेशा लिखने से बहुत तेज़ होता है, क्योंकि AI एक साथ कई टोकन पढ़ सकता है लेकिन उन्हें एक-एक करके लिखना पड़ता है.

क्याकहाँ चलानतीजामापा गया
Gemma 4 E4Bग्राफ़िक्स कार्ड55.9 टोकन प्रति सेकंड लिखना1 अक्टूबर 2026
Gemma 4 E4Bसिर्फ़ प्रोसेसर12.1 टोकन प्रति सेकंड लिखना1 अक्टूबर 2026

हर संख्या कैसे मापी गई: हम कैसे मापते हैं, इस पर और

  1. GreenCube 0.1.42 का अपना स्पीड टेस्ट, जो यह ग्राफ़िक्स कार्ड और प्रोसेसर में से चुनने के लिए स्टार्टअप पर चलाता है: हर एक पर एक बार लिखा गया छोटा जवाब.

जहाँ हमारे पास कई माप हैं, वहाँ हम रेंज दिखाते हैं: एक ही PC पर रफ़्तार हर माप में थोड़ी बदलती है.

इसका क्या मतलब है

काम ग्राफ़िक्स कार्ड करता है

वही PC, वही AI (Gemma 4 E4B): सिर्फ़ प्रोसेसर पर प्रति सेकंड 12.1 टोकन, ग्राफ़िक्स कार्ड पर 55.9, यानी लगभग 4.6 गुना तेज़. ग्राफ़िक्स कार्ड गेम्स के लिए एक साथ हज़ारों छोटे हिसाब करने के लिए बना है, और AI चलाना ज़्यादातर इसी तरह का गणित है. GreenCube शुरू होते समय दोनों का समय मापता है और तेज़ वाला इस्तेमाल करता है.

पूरा AI कार्ड पर समा जाता है

Gemma 4 E4B 4.2 GB की फ़ाइल है और कार्ड की अपनी मेमोरी (VRAM) 8 GB है. पूरा मॉडल समा जाता है और बातचीत के लिए जगह भी बचती है, इसलिए कार्ड को PC की बाकी धीमी मेमोरी का इंतज़ार कभी नहीं करना पड़ता. इतनी रफ़्तार की सबसे बड़ी वजह यही है.

बड़ा Gemma 4 12B

आराम से नहीं. GreenCube बड़ा Gemma 4 12B सिर्फ़ 10 GB या उससे ज़्यादा VRAM वाले कार्ड पर सुझाता है, और इसमें 8 है. 8 GB वाले AMD RX 5700 XT पर इसने छोटे सवालों के जवाब दिए, फिर लंबी चैट में क्रैश हो गया.

तस्वीरें

बहुत संभव है, लेकिन हमने इस कार्ड पर अभी तस्वीर का समय नहीं मापा है. जब मापेंगे, संख्या यहाँ आएगी. तस्वीर के लिए लगभग 6 GB का अलग AI इस्तेमाल होता है और चैट के जवाब से कहीं ज़्यादा गणित लगता है, इसलिए यहाँ ग्राफ़िक्स और भी ज़्यादा मायने रखता है.

दूसरों से तुलना

Gemma 4 E4B के साथ हमने जिन 8 PC को मापा, उनमें लिखने की रफ़्तार में यह नंबर 3 पर है. RX 5700 XT 63–72 लिखता है, लगभग 20% तेज़. RTX 3060 53–55 लिखता है, यानी यह लगभग 5% तेज़ है.

हमने 8 GB वाले 4 कार्ड मापे, और उनमें बहुत फ़र्क है:

मेमोरी तय करती है कि कौन-सा AI समाएगा. कार्ड कितना नया है, यह तय करता है कि वह कितनी तेज़ी से चलेगा.

टेस्ट PC

एक असली टेस्टर का अपना PC, जैसे वे आम तौर पर इस्तेमाल करते हैं, कोई लैब मशीन नहीं:

अपना PC जाँचें

पता नहीं आपके PC में क्या है? 30 सेकंड लगते हैं:

  1. Task Manager (कार्य प्रबंधक) खोलने के लिए Ctrl + Shift + Esc दबाएँ.
  2. Performance (प्रदर्शन) पर जाएँ.
  3. Memory (मेमोरी) पर क्लिक करें: ऊपर दिखने वाली बड़ी संख्या आपकी RAM है.
  4. GPU पर क्लिक करें: ऊपर दिखने वाला नाम आपका कार्ड है, और Dedicated GPU memory (समर्पित GPU मेमोरी) आपकी VRAM है. सिर्फ़ Intel या AMD ग्राफ़िक्स दिखता है जिसकी अपनी मेमोरी नहीं? तो आपके पास अलग कार्ड नहीं है.

फिर पूरी तालिका में सबसे क़रीबी कार्ड ढूँढें. ज़्यादा VRAM वाला वही कार्ड बड़ा AI समा सकता है; उतनी ही मेमोरी वाला नया कार्ड आम तौर पर तेज़ होता है.

हमारे मापे दूसरे PC

क्या मेरे PC पर AI चलेगा? सभी 10 PC एक तालिका में, और आपका PC कैसा चलेगा.

सवाल

क्या RTX 5060 पर AI लोकली चलेगा?

हाँ: NVIDIA RTX 5060 (8 GB) ग्राफ़िक्स कार्ड और 32 GB RAM वाले डेस्कटॉप पर Gemma 4 E4B ने प्रति सेकंड 56 टोकन लिखे. यह आपके पढ़ने से तेज़ है.

क्या RTX 5060 पर AI से तस्वीरें बन सकती हैं?

बहुत संभव है, लेकिन हमने इस कार्ड पर अभी तस्वीर का समय नहीं मापा है. जब मापेंगे, संख्या यहाँ आएगी.

AI RTX 5060 पर तेज़ है या प्रोसेसर पर?

कार्ड पर, बहुत ज़्यादा: प्रति सेकंड 55.9 टोकन, जबकि प्रोसेसर पर 12.1, यानी लगभग 4.6 गुना तेज़.

क्या RTX 5060 पर Gemma 4 12B चलेगा?

आराम से नहीं. GreenCube बड़ा Gemma 4 12B सिर्फ़ 10 GB या उससे ज़्यादा VRAM वाले कार्ड पर सुझाता है, और इसमें 8 है. 8 GB वाले AMD RX 5700 XT पर इसने छोटे सवालों के जवाब दिए, फिर लंबी चैट में क्रैश हो गया.

आपका अपना AI, आपके अपने PC पर

GreenCube आपके कंप्यूटर पर चलता है: इस्तेमाल की कोई सीमा नहीं, कोई सब्सक्रिप्शन नहीं, बिना इंटरनेट के चलता है. €9.99, एक बार.

GreenCube लें