GreenCube
中文
获取 GreenCube

GreenCube 博客

适合你电脑的最佳本地 AI 模型:按内存和显存挑选(实测)

最适合你电脑的本地 AI 模型,是能完整装进你的显卡、还剩约 1.5 GB 余量的最大那个。没有显卡的话,就选一个在内存里运行的小模型。完全装在显卡上的小模型,胜过溢出去的大模型:模型有一部分装不下时,我们测到它慢了 6 倍。

下面是每类电脑的推荐,附上我们在 10 台真实电脑上测到的速度。先说明一点:我们只给 GreenCube 自带的 Gemma 4 模型计过时(GreenCube 是我做的),所以我只给出这些模型的速度。不过挑大小的规则适用于任何模型系列。

适合你电脑的最佳模型

你的电脑装得下的模型大小我们的实测
8 GB 笔记本电脑,没有显卡小模型,约 2–3 GB(Gemma 4 E2B,2.6 GB)真实对话中 5–7 token/秒;先关掉其他应用
16 GB 笔记本电脑,没有显卡要速度就用小模型;约 4 GB 的能跑但慢E2B 14–18 token/秒;E4B 8–10
4 GB 显卡约 2–3 GB 能完整装下;4 GB 会溢出E4B(4.2 GB,部分在内存里)在 GTX 1650 上约 20 token/秒
6 GB 显卡约 4–4.5 GBE4B 在 GTX 1660 Super 上 35–38 token/秒
8 GB 显卡约 4–6 GBE4B 在较新的显卡上 56–72(老款 RX 580 上约 11)
12 GB 以上显卡约 6–10 GB:12B 级别的模型E4B 在 12 GB 上 50–55;12B 要长对话需 10 GB 以上

每张显卡在 我的电脑能跑 AI 吗? 里都有自己的页面,你也可以把自己的显卡输入 检测工具。

不确定你的电脑带不带得动?看看你的电脑能跑什么

为什么“装得下”比“最大”更重要

模型一旦溢出显卡,可能比根本没有显卡还慢。在一张 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在显卡上时每秒输出 35.6 个 token,部分不在显卡上时是 5.9,在显卡上的部分更少时是 4.3。最后这个数字,比一个不用显卡运行的小模型还慢。完整测试见 AI 需要多少显存。

而且,装得下一个问题,不等于装得下一段聊天。同一个 12B 模型回答短问题时能装进这张 8 GB 显卡,但对话一变长就每次都崩溃,因为对话在显卡上也需要空间。那 1.5 GB 的余量就是留给它的。

另外,小模型往往就够用。在一台 16 GB 笔记本电脑上,Gemma 4 E2B 用 20 秒给出了一个完整的学习类回答,5 道快速事实核查题全对。E4B 讲解得更好,但用了 112 秒。更多内容见 E2B 和 E4B 实测对比。

我们测过的模型

模型文件大小最适合许可证
Gemma 4 E2B2.6 GB笔记本电脑,8–16 GB 内存Apache 2.0
Gemma 4 E4B4.2 GB6 GB 以上的显卡Apache 2.0
Gemma 4 12B约 6.7 GB10–12 GB 以上的显卡Apache 2.0

其他任何模型都适用同样的规则:用文件大小加上约 1.5 GB,再和你的显存比较。Gemma 的细节见 Gemma 4 配置要求。

怎么查看你的显存

  1. 按 Ctrl + Shift + Esc 打开任务管理器。
  2. 进入“性能”,再选“GPU”。
  3. 看“专用 GPU 内存”:那就是你的显存。如果没有专用内存,就用一个在内存里运行的小模型。

LM Studio、Jan 和 Ollama 这样的免费应用让你自己选模型(12 款应用对比)。如果你完全不想挑,GreenCube 会读取你的显卡和内存,选一个装得下且留有余量的模型。

常见问题

最好的本地 AI 模型是哪个?

能完整装进你的显卡、还剩约 1.5 GB 的最大模型。完全在显卡上的小模型,胜过溢出到内存的大模型:在我们的测试中,一个有部分不在 8 GB 显卡上的模型慢了 6 倍。

没有显卡的笔记本电脑,最好的本地 AI 模型是哪个?

小模型。在真实对话中,Gemma 4 E2B(2.6 GB)在 16 GB 笔记本电脑上每秒输出 14 到 18 个 token,在 8 GB 笔记本电脑上每秒 5 到 7 个;同一个回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。

8 GB 显卡最好的本地 AI 模型是哪个?

大约 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 游戏显卡上每秒输出 56 到 72 个 token。一个 120 亿参数的模型回答短问题时装得下,但在长对话中崩溃了。

怎么知道一个模型能不能装进我的显卡?

用模型文件的大小,加上约 1.5 GB 留给对话和 Windows。如果结果小于你显卡的专用 GPU 内存(任务管理器、性能、GPU),就装得下。

需要我自己挑模型吗?

在 LM Studio、Jan 或 Ollama 这样的免费应用里,需要。GreenCube 会读取你的显卡和内存,替你挑选装得下的模型。

就在这里试试 GreenCube

这是应用本身的窗口。发送一个提示,打开它做出的内容并通过聊天修改,或者在“图片”里生成一张图片。

Good evening.

What do you want to make?

Message GreenCube…
Cube 2B
On your computer · Cube 2B
SlidesCauses of World War I

这些是示例回答,让你感受一下;这里没有运行 AI。在应用里,Cube 2B 会在你的电脑上离线自己写。

GreenCube 能在你的电脑上运行吗?

  • Seed8 GB 内存,无显卡都能用,只是慢一些。
  • Sprout16 GB 内存,或 8 GB 加显卡速度稳定,能写演示文稿。
  • Bloom8 GB 显卡,或 4-6 GB 显卡加 16 GB 内存很快,生成图片不用等。
  • Thrive8 GB 或以上显卡,加 24 GB 或以上内存最快。

GreenCube 会查看你的电脑,装好适合它的 AI 模型:不用命令行,不用设置。€9.99(US$9.99),一次付费,就归你。

检查你的电脑 获取 GreenCube