AI 需要多少显存？为什么模型必须装进显卡
简短回答：能完整装进显卡显存（VRAM）的 AI 跑得很快。溢出的 AI 比完全不用显卡还慢，还可能崩溃。小而全部在显卡上，胜过大而只有一半在显卡上。
测试
一台配 AMD RX 5700 XT（8 GB 显存）和 48 GB 内存的台式机。我们加载了一个 120 亿参数的模型（Gemma 4 12B，约 6.2 GB），并把它放在显卡上的部分调多调少，全部在 2026 年 9 月的同一次测试中完成。
| 模型有多少放在显卡上 | 输出（token/秒） |
|---|---|
| 全部 | 35.6 |
| 28 层 | 5.9 |
| 20 层 | 4.3 |
| 对比：较小的模型（Gemma 4 E4B）只用 CPU | 5.0 |
| 同一个小模型，全部在显卡上 | 72.5 |
我们发现了什么
1. 要么全部，要么没用
只要有一部分模型不在显卡上，速度就慢了 6 倍。放 20 层在显卡上时，它甚至比完全不用显卡的小模型还慢。一半在显卡上，等于集两边之短。
2. 最大的不一定最好
12B 模型确实能完整装进 8 GB 显卡，但只够回答一个短问题。对话一变长，每次都崩溃：显卡几乎没有给对话留下空间。较小的模型有约 3 GB 富余，每秒跑 63 到 72 个 token。
3. 留出空间
在一张 4 GB 的 GTX 1650 上，一个 4.2 GB 的模型被硬塞进 3.9 GB 的可用空间，第一条消息就报“内存不足”失败了。现在 GreenCube 会在显卡上留出约 1.5 GB 给对话和 Windows。
如何为你的显卡挑模型
查看你的显存
任务管理器 → 性能 → GPU → 专用 GPU 内存。
模型大小 + 1.5 GB
模型文件加上约 1.5 GB，应该小于那个数字。
拿不准就选小的
全部在显卡上的小模型，胜过只有一半在显卡上的大模型。
或者让应用来选
GreenCube 会读取你的显卡，选一个装得下还有富余的模型。
从 GTX 1650 到 RTX 5060，10 台电脑的真实速度：在这里查看。
常见问题
AI 模型装不进显存会怎样？
装不下的部分会在普通内存里运行，整体都会变慢。在我们的 8 GB 显卡上，一个把 28 层放在显卡上的模型每秒输出 5.9 个 token，而全部放在显卡上时是 35.6 个：慢了 6 倍。
应该运行显卡能加载的最大 AI 模型吗？
不应该。给对话留出空间。一个 120 亿参数的模型在 8 GB 显卡上回答短问题没问题，但对话一长就崩溃了。一个装得下还有富余的小模型更快，而且从没崩溃过。
应该留出多少显存？
GreenCube 会在显卡上留出约 1.5 GB 给对话和 Windows。没有这部分空间时，一张 4 GB 显卡在第一条消息时就内存不足了。