适合你电脑的最佳本地 AI 模型:按内存和显存挑选(实测)
最适合你电脑的本地 AI 模型,是能完整装进你的显卡、还剩约 1.5 GB 余量的最大那个。没有显卡的话,就选一个在内存里运行的小模型。完全装在显卡上的小模型,胜过溢出去的大模型:模型有一部分装不下时,我们测到它慢了 6 倍。
下面是每类电脑的推荐,附上我们在 10 台真实电脑上测到的速度。先说明一点:我们只给 GreenCube 自带的 Gemma 4 模型计过时(GreenCube 是我做的),所以我只给出这些模型的速度。不过挑大小的规则适用于任何模型系列。
适合你电脑的最佳模型
| 你的电脑 | 装得下的模型大小 | 我们的实测 |
|---|---|---|
| 8 GB 笔记本电脑,没有显卡 | 小模型,约 2–3 GB(Gemma 4 E2B,2.6 GB) | 真实对话中 5–7 token/秒;先关掉其他应用 |
| 16 GB 笔记本电脑,没有显卡 | 要速度就用小模型;约 4 GB 的能跑但慢 | E2B 14–18 token/秒;E4B 8–10 |
| 4 GB 显卡 | 约 2–3 GB 能完整装下;4 GB 会溢出 | E4B(4.2 GB,部分在内存里)在 GTX 1650 上约 20 token/秒 |
| 6 GB 显卡 | 约 4–4.5 GB | E4B 在 GTX 1660 Super 上 35–38 token/秒 |
| 8 GB 显卡 | 约 4–6 GB | E4B 在较新的显卡上 56–72(老款 RX 580 上约 11) |
| 12 GB 以上显卡 | 约 6–10 GB:12B 级别的模型 | E4B 在 12 GB 上 50–55;12B 要长对话需 10 GB 以上 |
每张显卡在 我的电脑能跑 AI 吗? 里都有自己的页面,你也可以把自己的显卡输入 检测工具。
不确定你的电脑带不带得动?看看你的电脑能跑什么
为什么“装得下”比“最大”更重要
模型一旦溢出显卡,可能比根本没有显卡还慢。在一张 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在显卡上时每秒输出 35.6 个 token,部分不在显卡上时是 5.9,在显卡上的部分更少时是 4.3。最后这个数字,比一个不用显卡运行的小模型还慢。完整测试见 AI 需要多少显存。
而且,装得下一个问题,不等于装得下一段聊天。同一个 12B 模型回答短问题时能装进这张 8 GB 显卡,但对话一变长就每次都崩溃,因为对话在显卡上也需要空间。那 1.5 GB 的余量就是留给它的。
另外,小模型往往就够用。在一台 16 GB 笔记本电脑上,Gemma 4 E2B 用 20 秒给出了一个完整的学习类回答,5 道快速事实核查题全对。E4B 讲解得更好,但用了 112 秒。更多内容见 E2B 和 E4B 实测对比。
我们测过的模型
| 模型 | 文件大小 | 最适合 | 许可证 |
|---|---|---|---|
| Gemma 4 E2B | 2.6 GB | 笔记本电脑,8–16 GB 内存 | Apache 2.0 |
| Gemma 4 E4B | 4.2 GB | 6 GB 以上的显卡 | Apache 2.0 |
| Gemma 4 12B | 约 6.7 GB | 10–12 GB 以上的显卡 | Apache 2.0 |
其他任何模型都适用同样的规则:用文件大小加上约 1.5 GB,再和你的显存比较。Gemma 的细节见 Gemma 4 配置要求。
怎么查看你的显存
- 按 Ctrl + Shift + Esc 打开任务管理器。
- 进入“性能”,再选“GPU”。
- 看“专用 GPU 内存”:那就是你的显存。如果没有专用内存,就用一个在内存里运行的小模型。
LM Studio、Jan 和 Ollama 这样的免费应用让你自己选模型(12 款应用对比)。如果你完全不想挑,GreenCube 会读取你的显卡和内存,选一个装得下且留有余量的模型。
常见问题
最好的本地 AI 模型是哪个?
能完整装进你的显卡、还剩约 1.5 GB 的最大模型。完全在显卡上的小模型,胜过溢出到内存的大模型:在我们的测试中,一个有部分不在 8 GB 显卡上的模型慢了 6 倍。
没有显卡的笔记本电脑,最好的本地 AI 模型是哪个?
小模型。在真实对话中,Gemma 4 E2B(2.6 GB)在 16 GB 笔记本电脑上每秒输出 14 到 18 个 token,在 8 GB 笔记本电脑上每秒 5 到 7 个;同一个回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。
8 GB 显卡最好的本地 AI 模型是哪个?
大约 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 游戏显卡上每秒输出 56 到 72 个 token。一个 120 亿参数的模型回答短问题时装得下,但在长对话中崩溃了。
怎么知道一个模型能不能装进我的显卡?
用模型文件的大小,加上约 1.5 GB 留给对话和 Windows。如果结果小于你显卡的专用 GPU 内存(任务管理器、性能、GPU),就装得下。
需要我自己挑模型吗?
在 LM Studio、Jan 或 Ollama 这样的免费应用里,需要。GreenCube 会读取你的显卡和内存,替你挑选装得下的模型。