适合你电脑的最佳本地 AI 模型:按内存和显存挑选(实测)
简短回答:适合你的电脑的最佳本地 AI 模型,是能完整装进你的显卡、还剩约 1.5 GB 的最大那个。没有显卡?在内存里跑一个小模型。完全在显卡上的小模型,胜过溢出的大模型:我们测得溢出会慢 6 倍。下面是每种电脑该选的模型,以及我们在 10 台真实电脑上测到的速度。
适合你电脑的最佳模型
| 你的电脑 | 装得下的模型大小 | 我们测到的结果 |
|---|---|---|
| 8 GB 笔记本电脑,无显卡 | 小模型,约 2–3 GB(Gemma 4 E2B,2.6 GB) | 真实对话中 5–7 token/秒;先关掉其他应用 |
| 16 GB 笔记本电脑,无显卡 | 要速度就用小模型;约 4 GB 也能用,但慢 | E2B 14–18 token/秒;E4B 8–10 |
| 4 GB 显卡 | 约 2–3 GB 能完整装下;4 GB 会溢出 | E4B(4.2 GB,部分在内存里)在 GTX 1650 上约 20 token/秒 |
| 6 GB 显卡 | 约 4–4.5 GB | E4B 在 GTX 1660 Super 上 35–38 token/秒 |
| 8 GB 显卡 | 约 4–6 GB | E4B 在较新的显卡上 56–72(在老的 RX 580 上约 11) |
| 12 GB 及以上显卡 | 约 6–10 GB:12B 级别的模型 | E4B 在 12 GB 上 50–55;12B 要跑长对话需要 10 GB 以上 |
每张显卡都有自己的页面:我的电脑能跑 AI 吗?或者在检测工具里输入你的显卡。
为什么“装得下”比“最大”更重要
一旦溢出,比不用显卡还慢
在 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在显卡上时每秒输出 35.6 个 token,有一部分不在显卡上时是 5.9 个,放在显卡上的部分更少时只有 4.3 个:比不用显卡运行的小模型还慢。完整的显存测试。
回答一个问题装得下,长对话就崩溃
同一个 12B 模型在 8 GB 显卡上回答短问题时装得下,但对话一变长,每次都崩溃:对话也需要空间。那 1.5 GB 的余量就是为此留的。
小模型往往就够用
在 16 GB 笔记本电脑上,Gemma 4 E2B 20 秒就给出了完整的学习回答,5 道简短事实题全部答对;E4B 讲解得更好,但用了 112 秒。E2B 和 E4B 实测对比。
我们实测过的模型
| 模型 | 文件大小 | 最适合 | 许可证 |
|---|---|---|---|
| Gemma 4 E2B | 2.6 GB | 笔记本电脑,8–16 GB 内存 | Apache 2.0 |
| Gemma 4 E4B | 4.2 GB | 6 GB 及以上的显卡 | Apache 2.0 |
| Gemma 4 12B | 约 6.4 GB | 10–12 GB 及以上的显卡 | Apache 2.0 |
这些是 GreenCube 自带的模型文件,也是我们唯一计过时的,所以我们只给出它们的速度。其他模型系列也遵循同样的规则:看文件大小,加约 1.5 GB,再和你的显存比较。Gemma 4 配置要求详解。
如何查看你的显存
- 按 Ctrl + Shift + Esc 打开任务管理器。
- 进入性能,然后点击 GPU。
- 专用 GPU 内存就是你的显存。没有专用内存?那就在内存里跑一个小模型。
不想自己挑?GreenCube 会读取你的显卡和内存,选一个装得下还有余量的模型。LM Studio、Jan 和 Ollama 这样的免费应用让你自己选:12 款应用比较。
常见问题
最好的本地 AI 模型是哪个?
能完整装进你的显卡、还剩约 1.5 GB 的最大模型。完全在显卡上的小模型,胜过溢出到内存的大模型:在我们的测试中,一个有部分不在 8 GB 显卡上的模型慢了 6 倍。
没有显卡的笔记本电脑,最好的本地 AI 模型是哪个?
小模型。在真实对话中,Gemma 4 E2B(2.6 GB)在 16 GB 笔记本电脑上每秒输出 14 到 18 个 token,在 8 GB 笔记本电脑上每秒 5 到 7 个;同一个回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。
8 GB 显卡最好的本地 AI 模型是哪个?
大约 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 游戏显卡上每秒输出 56 到 72 个 token。一个 120 亿参数的模型回答短问题时装得下,但在长对话中崩溃了。
怎么知道一个模型能不能装进我的显卡?
用模型文件的大小,加上约 1.5 GB 留给对话和 Windows。如果结果小于你显卡的专用 GPU 内存(任务管理器、性能、GPU),就装得下。
需要我自己挑模型吗?
在 LM Studio、Jan 或 Ollama 这样的免费应用里,需要。GreenCube 会读取你的显卡和内存,替你挑选装得下的模型。