我們如何在真實電腦上測 AI 速度,以及為什麼不靠猜
這個部落格上的每個速度都來自一臺執行 GreenCube 的真實電腦:目前共 10 臺,測於 2026年9月22日 到 2026年10月14日 之間。我們不估算沒測過的顯示卡的速度:用已有的顯示卡檢驗估算方法時,典型誤差為 19%,最差的偏差達 239%。
我們測什麼
三樣東西,因為這是你在自己電腦上用 AI 時能感受到的:
- 輸出速度:AI 打出回答的速度,單位是每秒 token 數。token 是詞的片段,而每個詞對應多少 token 因語言而異,所以我們不把這些速度換算成字數。粗略地說,每秒幾個 token 大約相當於閱讀速度,每秒幾十個 token 就明顯更快。
- 讀取速度:它接收你給的內容(問題、貼上的文字或 PDF)的速度。讀取總是比輸出快得多,因為 AI 可以一次讀很多 token,但只能一個一個地寫。
- 生成圖片的時間:一張 512×512 的圖片從點選到完成需要多久。
我們測的是 GreenCube 自帶的 AI,也就是每位使用者下載的同一批檔案:用於聊天的 Google Gemma 4 E2B(2.6 GB)、Gemma 4 E4B(4.2 GB)和 Gemma 4 12B(6.4 GB),以及用於圖片的 Z-Image Turbo。換一個 AI,或者同一個 AI 用了不同的壓縮方式,數字都會不同,所以我們只做同類比較。
我們怎麼測
共有四種方式,部落格上每個數字都會註明來自哪一種:
真實聊天
GreenCube 中的真實聊天:從應用程式日誌裡讀取每個 100 個 token 及以上回答的速度。範圍去掉了最慢和最快的各十分之一。
用於: RTX 2080 Ti,RTX 3060,RX 6600,GTX 1660 Super,GTX 1650,RX 580,Intel Iris Xe 筆電.
GreenCube 啟動測試
GreenCube 自帶的速度測試,啟動時執行,用來在顯示卡和 CPU 之間做選擇:各寫一次短回答。
用於: RTX 2080 Ti,RTX 5060,RTX 3060,RX 6600,GTX 1660 Super,RX 580,Intel Iris Xe 筆電.
llama.cpp 速度測試
llama.cpp 自帶的速度測試(llama-bench),GreenCube 使用的就是這個引擎,AI 檔案相同:輸出 128 個 token,讀取一段 512 個 token 的文字。
圖片測試
GreenCube 的圖片引擎(Z-Image Turbo),512×512 畫素,8 步,從點選計時到圖片完成。
用於: RTX 2080 Ti,RTX 3060,RX 6600,GTX 1660 Super,Intel Core Ultra 5 筆電.
真實聊天是最好的證據,因為這正是你會感受到的,所以只要有真實聊天的資料,每頁的主要數字就來自真實聊天。啟動測試只是一個短回答,所以我們用它來比較顯示卡和 CPU(兩者用同樣的方式計時),只有在測試者沒有傳送長回答時才把它作為主要數字。
我們測過的每臺電腦
真實測試者自己日常使用的電腦,不是實驗室機器。我們不公開他們的名字。
| 電腦 | 型別 | 顯示記憶體 | 記憶體 | 主要數字來源 | GreenCube | 日期 | 輸出(token/秒) |
|---|---|---|---|---|---|---|---|
| RTX 2080 Ti | 桌上型電腦 | 11 GB | 128 GB | 真實聊天 | 0.1.44 | 2026年10月14日 | 65–71 |
| RX 5700 XT | 桌上型電腦 | 8 GB | 48 GB | llama.cpp 速度測試 | – | 2026年9月22日 | 63–72 |
| RTX 5060 | 桌上型電腦 | 8 GB | 32 GB | GreenCube 啟動測試 | 0.1.42 | 2026年10月1日 | 56 |
| RTX 3060 | 桌上型電腦 | 12 GB | 32 GB | 真實聊天 | 0.1.42–0.1.43 | 2026年10月6日 | 53–55 |
| RX 6600 | 桌上型電腦 | 8 GB | 16 GB | 真實聊天 | 0.1.42–0.1.44 | 2026年10月9日 | 42–44 |
| GTX 1660 Super | 桌上型電腦 | 6 GB | 16 GB | 真實聊天 | 0.1.42 | 2026年10月1日 | 37–38 |
| GTX 1650 | 桌上型電腦 | 4 GB | 16 GB | 真實聊天 | 0.1.40 | 2026年9月23日 | 約 20 |
| Intel Core Ultra 5 筆電 | 筆電 | – | 16 GB | llama.cpp 速度測試 | – | 2026年9月28日 | 14–18 |
| RX 580 | 桌上型電腦 | 8 GB | 16 GB | 真實聊天 | 0.1.42 | 2026年10月1日 | 10–11 |
| Intel Iris Xe 筆電 | 筆電 | – | 8 GB | 真實聊天 | 0.1.42 | 2026年10月4日 | 5–7 |
為什麼數字是一個範圍
- 其他應用程式。瀏覽器、遊戲啟動器或視訊通話都在用同一塊記憶體和顯示卡。
- 第一次更慢。安裝後的第一個回答或第一張圖片,包含了載入和準備顯示卡的時間。重要的地方我們都註明了(例如"第一張載入時用了 83 秒")。
- 短回答測出來更慢。每個回答都有一小段固定的啟動時間,對 20 個 token 的回答影響比對 400 個 token 的回答大。所以真實聊天的範圍只計入 100 個 token 及以上的回答;如果測試者只發了短回答,我們會註明。
- 我們去掉極端值。真實聊天的範圍取第 10 到第 90 百分位,所以一個異常的回答不會影響結果。
能根據引數猜出顯示卡的速度嗎?
能的話會很方便:顯示卡有好幾百款,而我們測了 10 臺電腦。常見的做法是看顯示記憶體頻寬。AI 每輸出一個 token,都要從顯示卡顯示記憶體裡把整個模型讀一遍,所以理論上速度大約等於頻寬除以模型大小,再乘以某個效率係數。很多線上計算器就是這麼算的。
所以我們用自己的資料檢驗了一下。每次隱藏一張顯示卡,用其他顯示卡算出每 GB/s 頻寬對應的速度,再根據頻寬(來自廠商規格,彙總在 TechPowerUp GPU 資料庫)預測被隱藏的那張,然後和實測結果比較。所有顯示卡用的都是同一個 AI(Gemma 4 E4B,完整裝在顯示卡上)。
| 顯示卡 | 顯示記憶體頻寬 | 實測(token/秒) | 預測 | 誤差 |
|---|---|---|---|---|
| RTX 2080 Ti | 616 GB/秒 | 68 | 79 | +17% |
| RX 5700 XT | 448 GB/秒 | 68 | 55 | −19% |
| RTX 5060 | 448 GB/秒 | 56 | 57 | +1% |
| RTX 3060 | 360 GB/秒 | 54 | 44 | −19% |
| RX 6600 | 224 GB/秒 | 43 | 26 | −41% |
| GTX 1660 Super | 336 GB/秒 | 38 | 43 | +14% |
| RX 580 | 256 GB/秒 | 11 | 36 | +239% |
典型的估算誤差為 19%。最差的是 RX 580:按顯示記憶體推算應約為每秒 36 個 token,實際只有 11。去掉它重新算,其他顯示卡的誤差仍高達 33%。較新的 AMD RX 6600 則相反,比頻寬推算的更快;它較大的片上快取(AMD 稱為 Infinity Cache)可能是原因之一。每個實測數字都是那張顯示卡的主要數字,所以它們並非全部來自同一種測試;這會帶來一些噪聲,但解釋不了三倍的偏差。
這不夠好。在新顯示卡上可能偏差 33%、在老顯示卡上偏差 239% 的估算,會讓一些人以為自己的電腦沒問題,其實很慢,或者反過來。所以檢測工具和顯示卡頁面只顯示我們實測過的顯示卡,你的顯示卡不在其中時也會明確告訴你。每測一張新顯示卡,我們都會重做這個測試;如果誤差變小,我們會先在這裡說明,再展示任何估算值。
我們還沒測過的
- 帶遊戲顯示卡的筆電。
- 在 10 GB 及以上顯示卡上的 Gemma 4 12B。
- 在 RX 5700 XT、RTX 5060、GTX 1650、RX 580 上生成圖片。
- GreenCube 自帶之外的其他 AI,以及 Linux 或 Mac(GreenCube 只支援 Windows)。
獲取資料
本頁的每一次測量都在 greencube-ai-speeds.csv 裡,一行一條:電腦、AI、執行在哪裡、輸出和讀取速度、生成圖片的時間、測量方式、GreenCube 版本和日期。如果你使用這些資料,請引用"GreenCube, AI speed measurements on real PCs, 2026"並連結到本頁。
加入你的電腦
已經在用 GreenCube?把日誌發到 support@greencube.app。我們會把你的電腦加入測試(不署名),新顯示卡還會有自己的頁面。不確定你的電腦配置?在這裡檢視。
常見問題
GreenCube 的 AI 速度數字從哪裡來?
來自 10 臺執行 GreenCube 的真實電腦,分別用真實聊天、GreenCube 的啟動速度測試、llama.cpp 的速度測試和圖片測試測得。每個數字都註明了來源。
能根據顯示卡引數估算 AI 速度嗎?
目前還不可靠。根據顯示記憶體頻寬預測,我們的估算典型誤差為 19%,最高達 239%,所以我們只顯示實測過的顯示卡。
可以下載這些資料嗎?
可以:每次測量都在本頁連結的 greencube-ai-speeds.csv 裡。