GreenCube
中文
获取 GreenCube

GreenCube 博客

适合你电脑的最佳本地 AI 模型:按内存和显存挑选(实测)

简短回答:适合你的电脑的最佳本地 AI 模型,是能完整装进你的显卡、还剩约 1.5 GB 的最大那个。没有显卡?在内存里跑一个小模型。完全在显卡上的小模型,胜过溢出的大模型:我们测得溢出会慢 6 倍。下面是每种电脑该选的模型,以及我们在 10 台真实电脑上测到的速度。

+1.5 GB模型文件加约 1.5 GB,必须装得进你的显存
6×模型有一部分装不进显卡时,会慢这么多
10台我们实测过的真实电脑,从笔记本电脑到游戏台式机

适合你电脑的最佳模型

你的电脑装得下的模型大小我们测到的结果
8 GB 笔记本电脑,无显卡小模型,约 2–3 GB(Gemma 4 E2B,2.6 GB)真实对话中 5–7 token/秒;先关掉其他应用
16 GB 笔记本电脑,无显卡要速度就用小模型;约 4 GB 也能用,但慢E2B 14–18 token/秒;E4B 8–10
4 GB 显卡约 2–3 GB 能完整装下;4 GB 会溢出E4B(4.2 GB,部分在内存里)在 GTX 1650 上约 20 token/秒
6 GB 显卡约 4–4.5 GBE4B 在 GTX 1660 Super 上 35–38 token/秒
8 GB 显卡约 4–6 GBE4B 在较新的显卡上 56–72(在老的 RX 580 上约 11)
12 GB 及以上显卡约 6–10 GB:12B 级别的模型E4B 在 12 GB 上 50–55;12B 要跑长对话需要 10 GB 以上

每张显卡都有自己的页面:我的电脑能跑 AI 吗?或者在检测工具里输入你的显卡。

为什么“装得下”比“最大”更重要

一旦溢出,比不用显卡还慢

在 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在显卡上时每秒输出 35.6 个 token,有一部分不在显卡上时是 5.9 个,放在显卡上的部分更少时只有 4.3 个:比不用显卡运行的小模型还慢。完整的显存测试。

回答一个问题装得下,长对话就崩溃

同一个 12B 模型在 8 GB 显卡上回答短问题时装得下,但对话一变长,每次都崩溃:对话也需要空间。那 1.5 GB 的余量就是为此留的。

小模型往往就够用

在 16 GB 笔记本电脑上,Gemma 4 E2B 20 秒就给出了完整的学习回答,5 道简短事实题全部答对;E4B 讲解得更好,但用了 112 秒。E2B 和 E4B 实测对比。

我们实测过的模型

模型文件大小最适合许可证
Gemma 4 E2B2.6 GB笔记本电脑,8–16 GB 内存Apache 2.0
Gemma 4 E4B4.2 GB6 GB 及以上的显卡Apache 2.0
Gemma 4 12B约 6.4 GB10–12 GB 及以上的显卡Apache 2.0

这些是 GreenCube 自带的模型文件,也是我们唯一计过时的,所以我们只给出它们的速度。其他模型系列也遵循同样的规则:看文件大小,加约 1.5 GB,再和你的显存比较。Gemma 4 配置要求详解。

如何查看你的显存

  1. 按 Ctrl + Shift + Esc 打开任务管理器。
  2. 进入性能,然后点击 GPU。
  3. 专用 GPU 内存就是你的显存。没有专用内存?那就在内存里跑一个小模型。

不想自己挑?GreenCube 会读取你的显卡和内存,选一个装得下还有余量的模型。LM Studio、Jan 和 Ollama 这样的免费应用让你自己选:12 款应用比较。

常见问题

最好的本地 AI 模型是哪个?

能完整装进你的显卡、还剩约 1.5 GB 的最大模型。完全在显卡上的小模型,胜过溢出到内存的大模型:在我们的测试中,一个有部分不在 8 GB 显卡上的模型慢了 6 倍。

没有显卡的笔记本电脑,最好的本地 AI 模型是哪个?

小模型。在真实对话中,Gemma 4 E2B(2.6 GB)在 16 GB 笔记本电脑上每秒输出 14 到 18 个 token,在 8 GB 笔记本电脑上每秒 5 到 7 个;同一个回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。

8 GB 显卡最好的本地 AI 模型是哪个?

大约 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 游戏显卡上每秒输出 56 到 72 个 token。一个 120 亿参数的模型回答短问题时装得下,但在长对话中崩溃了。

怎么知道一个模型能不能装进我的显卡?

用模型文件的大小,加上约 1.5 GB 留给对话和 Windows。如果结果小于你显卡的专用 GPU 内存(任务管理器、性能、GPU),就装得下。

需要我自己挑模型吗?

在 LM Studio、Jan 或 Ollama 这样的免费应用里,需要。GreenCube 会读取你的显卡和内存,替你挑选装得下的模型。

属于你自己的 AI,就在你的电脑上

GreenCube 在你的电脑上运行:没有使用限制,没有订阅,不联网也能用。€9.99,一次付清。

获取 GreenCube