GreenCube
繁體
獲取 GreenCube

GreenCube 部落格

適合你電腦的最佳本地 AI 模型:按記憶體和顯示記憶體挑選(實測)

簡短回答:適合你的電腦的最佳本地 AI 模型,是能完整裝進你的顯示卡、還剩約 1.5 GB 的最大那個。沒有顯示卡?在記憶體裡跑一個小模型。完全在顯示卡上的小模型,勝過溢位的大模型:我們測得溢位會慢 6 倍。下面是每種電腦該選的模型,以及我們在 10 臺真實電腦上測到的速度。

+1.5 GB模型檔案加約 1.5 GB,必須裝得進你的顯示記憶體
6×模型有一部分裝不進顯示卡時,會慢這麼多
10臺我們實測過的真實電腦,從筆電到遊戲桌上型電腦

適合你電腦的最佳模型

你的電腦裝得下的模型大小我們測到的結果
8 GB 筆電,無顯示卡小模型,約 2–3 GB(Gemma 4 E2B,2.6 GB)真實對話中 5–7 token/秒;先關掉其他應用程式
16 GB 筆電,無顯示卡要速度就用小模型;約 4 GB 也能用,但慢E2B 14–18 token/秒;E4B 8–10
4 GB 顯示卡約 2–3 GB 能完整裝下;4 GB 會溢位E4B(4.2 GB,部分在記憶體裡)在 GTX 1650 上約 20 token/秒
6 GB 顯示卡約 4–4.5 GBE4B 在 GTX 1660 Super 上 35–38 token/秒
8 GB 顯示卡約 4–6 GBE4B 在較新的顯示卡上 56–72(在老的 RX 580 上約 11)
12 GB 及以上顯示卡約 6–10 GB:12B 級別的模型E4B 在 12 GB 上 50–55;12B 要跑長對話需要 10 GB 以上

每張顯示卡都有自己的頁面:我的電腦能跑 AI 嗎?或者在檢測工具裡輸入你的顯示卡。

為什麼“裝得下”比“最大”更重要

一旦溢位,比不用顯示卡還慢

在 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在顯示卡上時每秒輸出 35.6 個 token,有一部分不在顯示卡上時是 5.9 個,放在顯示卡上的部分更少時只有 4.3 個:比不用顯示卡執行的小模型還慢。完整的顯示記憶體測試。

回答一個問題裝得下,長對話就崩潰

同一個 12B 模型在 8 GB 顯示卡上回答短問題時裝得下,但對話一變長,每次都崩潰:對話也需要空間。那 1.5 GB 的餘量就是為此留的。

小模型往往就夠用

在 16 GB 筆電上,Gemma 4 E2B 20 秒就給出了完整的學習回答,5 道簡短事實題全部答對;E4B 講解得更好,但用了 112 秒。E2B 和 E4B 實測對比。

我們實測過的模型

模型檔案大小最適合授權條款
Gemma 4 E2B2.6 GB筆電,8–16 GB 記憶體Apache 2.0
Gemma 4 E4B4.2 GB6 GB 及以上的顯示卡Apache 2.0
Gemma 4 12B約 6.4 GB10–12 GB 及以上的顯示卡Apache 2.0

這些是 GreenCube 自帶的模型檔案,也是我們唯一計過時的,所以我們只給出它們的速度。其他模型系列也遵循同樣的規則:看檔案大小,加約 1.5 GB,再和你的顯示記憶體比較。Gemma 4 配置要求詳解。

如何檢視你的顯示記憶體

  1. 按 Ctrl + Shift + Esc 開啟工作管理員。
  2. 進入效能,然後點選 GPU。
  3. 專用 GPU 記憶體就是你的顯示記憶體。沒有專用記憶體?那就在記憶體裡跑一個小模型。

不想自己挑?GreenCube 會讀取你的顯示卡和記憶體,選一個裝得下還有餘量的模型。LM Studio、Jan 和 Ollama 這樣的免費應用程式讓你自己選:12 款應用程式比較。

常見問題

最好的本地 AI 模型是哪個?

能完整裝進你的顯示卡、還剩約 1.5 GB 的最大模型。完全在顯示卡上的小模型,勝過溢位到記憶體的大模型:在我們的測試中,一個有部分不在 8 GB 顯示卡上的模型慢了 6 倍。

沒有顯示卡的筆電,最好的本地 AI 模型是哪個?

小模型。在真實對話中,Gemma 4 E2B(2.6 GB)在 16 GB 筆電上每秒輸出 14 到 18 個 token,在 8 GB 筆電上每秒 5 到 7 個;同一個回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。

8 GB 顯示卡最好的本地 AI 模型是哪個?

大約 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 遊戲顯示卡上每秒輸出 56 到 72 個 token。一個 120 億參數的模型回答短問題時裝得下,但在長對話中崩潰了。

怎麼知道一個模型能不能裝進我的顯示卡?

用模型檔案的大小,加上約 1.5 GB 留給對話和 Windows。如果結果小於你顯示卡的專用 GPU 記憶體(工作管理員、效能、GPU),就裝得下。

需要我自己挑模型嗎?

在 LM Studio、Jan 或 Ollama 這樣的免費應用程式裡,需要。GreenCube 會讀取你的顯示卡和記憶體,替你挑選裝得下的模型。

屬於你自己的 AI,就在你的電腦上

GreenCube 在你的電腦上執行:沒有使用限制,沒有訂閱,不聯網也能用。€9.99,一次付清。

獲取 GreenCube