AI ต้องใช้ VRAM เท่าไร? ทำไมโมเดลต้องลงบนการ์ดจอให้หมด
คำตอบสั้นๆ: AI ที่ลงในหน่วยความจำของการ์ดจอ (VRAM) ได้ทั้งหมดจะเร็ว ส่วนตัวที่ล้นออกมา ช้ากว่าการไม่ใช้การ์ดเลย และอาจแครช ตัวเล็กที่อยู่บนการ์ดทั้งหมดชนะตัวใหญ่ที่อยู่บนการ์ดแค่ครึ่งเดียว
การทดสอบ
คอมตั้งโต๊ะที่ใช้ AMD RX 5700 XT (VRAM 8 GB) และ RAM 48 GB เราโหลดโมเดล 12 พันล้านพารามิเตอร์ (Gemma 4 12B ราว 6.2 GB) แล้ววางมันบนการ์ดมากบ้างน้อยบ้าง ทั้งหมดในเซสชันเดียว เดือนกันยายน 2026
| ส่วนของโมเดลที่อยู่บนการ์ด | การเขียน (โทเคน/วินาที) |
|---|---|
| ทั้งหมด | 35.6 |
| 28 เลเยอร์ | 5.9 |
| 20 เลเยอร์ | 4.3 |
| เพื่อเปรียบเทียบ: โมเดลที่เล็กกว่า (Gemma 4 E4B) บนซีพียูอย่างเดียว | 5.0 |
| โมเดลเล็กตัวเดียวกัน อยู่บนการ์ดทั้งหมด | 72.5 |
สิ่งที่เราได้เรียนรู้
1. ทั้งหมดหรือไม่ก็ไม่เอาเลย
แค่ให้บางส่วนของโมเดลอยู่นอกการ์ด มันก็ ช้าลง 6 เท่า เมื่อมี 20 เลเยอร์บนการ์ด มันช้ากว่าโมเดลเล็กที่รันโดยไม่มีการ์ดเลยด้วยซ้ำ ครึ่งๆ กลางๆ คือแย่ที่สุดของทั้งสองทาง
2. ใหญ่ที่สุดไม่ใช่ดีที่สุด
โมเดล 12B ลงบนการ์ด 8 GB ได้ทั้งหมดจริง สำหรับคำถามสั้นหนึ่งข้อ แต่พอแชตยาวขึ้น มันแครชทุกครั้ง เพราะการ์ดแทบไม่เหลือที่ให้บทสนทนา โมเดลที่เล็กกว่ามีที่เหลือราว 3 GB และรันได้ 63 ถึง 72 โทเคนต่อวินาที
3. เหลือที่ไว้
บน GTX 1650 4 GB โมเดล 4.2 GB ถูกยัดลงบนการ์ดที่มีที่ 3.9 GB และข้อความแรกสุดก็ล้มเหลวด้วยข้อความ "หน่วยความจำไม่พอ" ตอนนี้ GreenCube จึงเก็บ ที่ว่างบนการ์ดไว้ราว 1.5 GB สำหรับแชตและสำหรับ Windows
วิธีเลือกโมเดลให้เหมาะกับการ์ดของคุณ
เช็ก VRAM ของคุณ
Task Manager → Performance → GPU → Dedicated GPU memory (หน่วยความจำ GPU เฉพาะ)
ขนาดโมเดล + 1.5 GB
ไฟล์โมเดลบวกอีกราว 1.5 GB ควรไม่เกินตัวเลขนั้น
ถ้าไม่แน่ใจ เลือกตัวเล็กกว่า
โมเดลเล็กที่อยู่บนการ์ดทั้งหมดชนะตัวใหญ่ที่อยู่บนการ์ดครึ่งเดียว
หรือให้แอปเลือก
GreenCube อ่านการ์ดของคุณแล้วเลือกโมเดลที่ลงได้โดยยังเหลือที่
ความเร็วจริงบนคอม 10 เครื่อง ตั้งแต่ GTX 1650 ถึง RTX 5060: ดูได้ที่นี่
คำถาม
จะเกิดอะไรขึ้นถ้าโมเดล AI ลงใน VRAM ไม่หมด?
ส่วนที่ลงไม่ได้จะรันจากหน่วยความจำปกติ และทุกอย่างช้าลง บนการ์ด 8 GB ของเรา โมเดลที่มี 28 เลเยอร์อยู่บนการ์ดเขียนได้ 5.9 โทเคนต่อวินาที แทนที่จะเป็น 35.6 เมื่ออยู่บนการ์ดทั้งหมด ช้าลง 6 เท่า
ควรรันโมเดล AI ที่ใหญ่ที่สุดที่การ์ดโหลดได้ไหม?
ไม่ควร ให้เหลือที่ไว้สำหรับบทสนทนา โมเดล 12 พันล้านพารามิเตอร์ลงบนการ์ด 8 GB ได้สำหรับคำถามสั้น แล้วก็แครชเมื่อแชตยาวขึ้น โมเดลที่เล็กกว่าซึ่งลงได้โดยยังเหลือที่ เร็วกว่าและไม่เคยแครช
ควรเหลือ VRAM ว่างไว้เท่าไร?
GreenCube เหลือที่บนการ์ดไว้ราว 1.5 GB สำหรับบทสนทนาและสำหรับ Windows ถ้าไม่มีที่ตรงนี้ การ์ด 4 GB หน่วยความจำเต็มตั้งแต่ข้อความแรก
AI ของคุณเอง บนคอมของคุณเอง
GreenCube รันบนคอมพิวเตอร์ของคุณ ไม่จำกัดการใช้งาน ไม่ต้องสมัครสมาชิก ใช้ได้โดยไม่ต้องต่อเน็ต €9.99 จ่ายครั้งเดียว
ซื้อ GreenCube