AI 需要多少顯示記憶體？為什麼模型必須裝進顯示卡
簡短回答：能完整裝進顯示卡顯示記憶體（VRAM）的 AI 跑得很快。溢位的 AI 比完全不用顯示卡還慢，還可能崩潰。小而全部在顯示卡上，勝過大而只有一半在顯示卡上。
測試
一臺配 AMD RX 5700 XT（8 GB 顯示記憶體）和 48 GB 記憶體的桌上型電腦。我們載入了一個 120 億引數的模型（Gemma 4 12B，約 6.2 GB），並把它放在顯示卡上的部分調多調少，全部在 2026 年 9 月的同一次測試中完成。
| 模型有多少放在顯示卡上 | 輸出（token/秒） |
|---|---|
| 全部 | 35.6 |
| 28 層 | 5.9 |
| 20 層 | 4.3 |
| 對比：較小的模型（Gemma 4 E4B）只用 CPU | 5.0 |
| 同一個小模型，全部在顯示卡上 | 72.5 |
我們發現了什麼
1. 要麼全部，要麼沒用
只要有一部分模型不在顯示卡上，速度就慢了 6 倍。放 20 層在顯示卡上時，它甚至比完全不用顯示卡的小模型還慢。一半在顯示卡上，等於集兩邊之短。
2. 最大的不一定最好
12B 模型確實能完整裝進 8 GB 顯示卡，但只夠回答一個短問題。對話一變長，每次都崩潰：顯示卡幾乎沒有給對話留下空間。較小的模型有約 3 GB 富餘，每秒跑 63 到 72 個 token。
3. 留出空間
在一張 4 GB 的 GTX 1650 上，一個 4.2 GB 的模型被硬塞進 3.9 GB 的可用空間，第一條訊息就報“記憶體不足”失敗了。現在 GreenCube 會在顯示卡上留出約 1.5 GB 給對話和 Windows。
如何為你的顯示卡挑模型
檢視你的顯示記憶體
工作管理員 → 效能 → GPU → 專用 GPU 記憶體。
模型大小 + 1.5 GB
模型檔案加上約 1.5 GB，應該小於那個數字。
拿不準就選小的
全部在顯示卡上的小模型，勝過只有一半在顯示卡上的大模型。
或者讓應用程式來選
GreenCube 會讀取你的顯示卡，選一個裝得下還有富餘的模型。
從 GTX 1650 到 RTX 5060，10 臺電腦的真實速度：在這裡檢視。
常見問題
AI 模型裝不進顯示記憶體會怎樣？
裝不下的部分會在普通記憶體裡執行，整體都會變慢。在我們的 8 GB 顯示卡上，一個把 28 層放在顯示卡上的模型每秒輸出 5.9 個 token，而全部放在顯示卡上時是 35.6 個：慢了 6 倍。
應該執行顯示卡能載入的最大 AI 模型嗎？
不應該。給對話留出空間。一個 120 億引數的模型在 8 GB 顯示卡上回答短問題沒問題，但對話一長就崩潰了。一個裝得下還有富餘的小模型更快，而且從沒崩潰過。
應該留出多少顯示記憶體？
GreenCube 會在顯示卡上留出約 1.5 GB 給對話和 Windows。沒有這部分空間時，一張 4 GB 顯示卡在第一條訊息時就記憶體不足了。