適合你電腦的最佳本地 AI 模型:按記憶體和顯示記憶體挑選(實測)
簡短回答:適合你的電腦的最佳本地 AI 模型,是能完整裝進你的顯示卡、還剩約 1.5 GB 的最大那個。沒有顯示卡?在記憶體裡跑一個小模型。完全在顯示卡上的小模型,勝過溢位的大模型:我們測得溢位會慢 6 倍。下面是每種電腦該選的模型,以及我們在 10 臺真實電腦上測到的速度。
適合你電腦的最佳模型
| 你的電腦 | 裝得下的模型大小 | 我們測到的結果 |
|---|---|---|
| 8 GB 筆電,無顯示卡 | 小模型,約 2–3 GB(Gemma 4 E2B,2.6 GB) | 真實對話中 5–7 token/秒;先關掉其他應用程式 |
| 16 GB 筆電,無顯示卡 | 要速度就用小模型;約 4 GB 也能用,但慢 | E2B 14–18 token/秒;E4B 8–10 |
| 4 GB 顯示卡 | 約 2–3 GB 能完整裝下;4 GB 會溢位 | E4B(4.2 GB,部分在記憶體裡)在 GTX 1650 上約 20 token/秒 |
| 6 GB 顯示卡 | 約 4–4.5 GB | E4B 在 GTX 1660 Super 上 35–38 token/秒 |
| 8 GB 顯示卡 | 約 4–6 GB | E4B 在較新的顯示卡上 56–72(在老的 RX 580 上約 11) |
| 12 GB 及以上顯示卡 | 約 6–10 GB:12B 級別的模型 | E4B 在 12 GB 上 50–55;12B 要跑長對話需要 10 GB 以上 |
每張顯示卡都有自己的頁面:我的電腦能跑 AI 嗎?或者在檢測工具裡輸入你的顯示卡。
為什麼“裝得下”比“最大”更重要
一旦溢位,比不用顯示卡還慢
在 8 GB 的 RX 5700 XT 上,Gemma 4 12B 完全在顯示卡上時每秒輸出 35.6 個 token,有一部分不在顯示卡上時是 5.9 個,放在顯示卡上的部分更少時只有 4.3 個:比不用顯示卡執行的小模型還慢。完整的顯示記憶體測試。
回答一個問題裝得下,長對話就崩潰
同一個 12B 模型在 8 GB 顯示卡上回答短問題時裝得下,但對話一變長,每次都崩潰:對話也需要空間。那 1.5 GB 的餘量就是為此留的。
小模型往往就夠用
在 16 GB 筆電上,Gemma 4 E2B 20 秒就給出了完整的學習回答,5 道簡短事實題全部答對;E4B 講解得更好,但用了 112 秒。E2B 和 E4B 實測對比。
我們實測過的模型
| 模型 | 檔案大小 | 最適合 | 授權條款 |
|---|---|---|---|
| Gemma 4 E2B | 2.6 GB | 筆電,8–16 GB 記憶體 | Apache 2.0 |
| Gemma 4 E4B | 4.2 GB | 6 GB 及以上的顯示卡 | Apache 2.0 |
| Gemma 4 12B | 約 6.4 GB | 10–12 GB 及以上的顯示卡 | Apache 2.0 |
這些是 GreenCube 自帶的模型檔案,也是我們唯一計過時的,所以我們只給出它們的速度。其他模型系列也遵循同樣的規則:看檔案大小,加約 1.5 GB,再和你的顯示記憶體比較。Gemma 4 配置要求詳解。
如何檢視你的顯示記憶體
- 按 Ctrl + Shift + Esc 開啟工作管理員。
- 進入效能,然後點選 GPU。
- 專用 GPU 記憶體就是你的顯示記憶體。沒有專用記憶體?那就在記憶體裡跑一個小模型。
不想自己挑?GreenCube 會讀取你的顯示卡和記憶體,選一個裝得下還有餘量的模型。LM Studio、Jan 和 Ollama 這樣的免費應用程式讓你自己選:12 款應用程式比較。
常見問題
最好的本地 AI 模型是哪個?
能完整裝進你的顯示卡、還剩約 1.5 GB 的最大模型。完全在顯示卡上的小模型,勝過溢位到記憶體的大模型:在我們的測試中,一個有部分不在 8 GB 顯示卡上的模型慢了 6 倍。
沒有顯示卡的筆電,最好的本地 AI 模型是哪個?
小模型。在真實對話中,Gemma 4 E2B(2.6 GB)在 16 GB 筆電上每秒輸出 14 到 18 個 token,在 8 GB 筆電上每秒 5 到 7 個;同一個回答,E2B 用了 20 秒,更大的 E4B 用了 112 秒。
8 GB 顯示卡最好的本地 AI 模型是哪個?
大約 4 到 5 GB 的模型,比如 Gemma 4 E4B(4.2 GB):它在 8 GB 遊戲顯示卡上每秒輸出 56 到 72 個 token。一個 120 億參數的模型回答短問題時裝得下,但在長對話中崩潰了。
怎麼知道一個模型能不能裝進我的顯示卡?
用模型檔案的大小,加上約 1.5 GB 留給對話和 Windows。如果結果小於你顯示卡的專用 GPU 記憶體(工作管理員、效能、GPU),就裝得下。
需要我自己挑模型嗎?
在 LM Studio、Jan 或 Ollama 這樣的免費應用程式裡,需要。GreenCube 會讀取你的顯示卡和記憶體,替你挑選裝得下的模型。