GreenCube 블로그

실제 PC에서 AI 속도를 재는 방법, 그리고 추측하지 않는 이유

글쓴이 Hector Gras · 2026년 10월 14일

무엇을 재는가

세 가지입니다. 내 PC에서 AI를 쓸 때 체감하는 것이 바로 이것들이기 때문입니다:

• 출력 속도: AI가 답을 써 내려가는 속도로, 초당 토큰 수로 나타냅니다. 토큰은 단어의 조각이고 단어당 토큰 수는 언어마다 달라서, 여기서는 글자 수로 환산하지 않습니다. 대략 초당 몇 토큰이면 읽는 속도와 비슷하고, 초당 수십 토큰이면 확실히 더 빠릅니다.
• 읽기 속도: 건네준 것(질문, 붙여 넣은 글, PDF)을 받아들이는 속도입니다. AI는 많은 토큰을 한꺼번에 읽지만 쓸 때는 하나씩 쓰므로, 항상 출력보다 훨씬 빠릅니다.
• 이미지 시간: 512×512 이미지 한 장이 클릭부터 완성까지 걸리는 시간입니다.

GreenCube가 배포하는 AI, 즉 모든 사용자가 내려받는 것과 같은 파일을 측정합니다. 채팅용으로 Google의 Gemma 4 E2B(2.6 GB), Gemma 4 E4B(4.2 GB), Gemma 4 12B(6.4 GB), 이미지용으로 Z-Image Turbo입니다. 다른 AI나, 같은 AI라도 압축 방식이 다르면 숫자가 달라지므로 같은 것끼리만 비교합니다.

어떻게 재는가

네 가지 방법이 있고, 블로그의 모든 숫자에 어느 방법으로 쟀는지 표시합니다:

실제 채팅이 가장 좋은 증거입니다. 바로 그것을 체감하게 되기 때문입니다. 그래서 각 페이지의 대표 숫자는 가능하면 실제 채팅에서 가져옵니다. 시작 테스트는 짧은 답 하나라서 카드와 CPU 비교(둘 다 같은 방식으로 재므로)에 쓰고, 테스터가 긴 답을 보내지 않은 경우에만 대표 숫자로 씁니다.

측정한 모든 PC

실험실 장비가 아니라, 실제 테스터가 평소대로 쓰는 자기 PC입니다. 이름은 공개하지 않습니다.

숫자가 범위로 나오는 이유

• 다른 앱. 브라우저, 게임 런처, 화상 통화도 같은 메모리와 그래픽카드를 씁니다.
• 처음은 더 느립니다. 설치 후 첫 답이나 첫 이미지에는 로딩과 카드 준비 시간이 포함됩니다. 중요한 곳에서는 그렇게 표시했습니다(예: "첫 장은 로딩 중이라 83초").
• 짧은 답은 느리게 측정됩니다. 모든 답에는 작은 고정 시작 시간이 있어서, 400 토큰 답보다 20 토큰 답에서 더 크게 작용합니다. 그래서 실제 채팅 범위는 100 토큰 이상의 답만 세고, 테스터가 짧은 답만 보낸 경우는 표시해 둡니다.
• 극단값은 뺍니다. 실제 채팅 범위는 10번째부터 90번째 백분위수까지라서, 이상한 답 하나로 움직이지 않습니다.

사양으로 카드 속도를 추측할 수 있을까?

그럴 수 있다면 편하겠죠. 카드는 수백 종류이고, 저희가 측정한 PC는 10대입니다. 흔한 방법은 메모리 대역폭입니다. AI는 토큰을 하나 쓸 때마다 모델 전체를 카드 메모리에서 읽기 때문에, 이론상 속도는 대략 대역폭을 모델 크기로 나누고 어느 정도의 효율을 곱한 값입니다. 많은 온라인 계산기가 이렇게 작동합니다.

그래서 저희 데이터로 시험해 봤습니다. 카드를 하나씩 가리고, 나머지 카드로 GB/s당 속도를 구한 뒤, 가린 카드의 속도를 그 대역폭(제조사 사양, TechPowerUp GPU 데이터베이스에 정리됨)으로 예측해 실측과 비교했습니다. AI는 모두 같습니다(Gemma 4 E4B, 카드에 통째로).

일반적인 추정 오차는 19%였습니다. 가장 크게 빗나간 카드: RX 580. 메모리로 보면 초당 약 36 토큰이어야 했지만, 실제로는 초당 11 토큰이었습니다. 이 카드를 빼고 다시 해도 다른 카드들의 오차는 최대 33%입니다. 더 새로운 AMD RX 6600은 반대로 대역폭으로 예상한 것보다 빨랐는데, 칩 위의 큰 캐시(AMD는 Infinity Cache라고 부릅니다)가 이유 중 하나일 수 있습니다. 실측값은 각 카드의 대표 숫자라서 모두 같은 종류의 테스트에서 나온 것은 아닙니다. 그래서 약간의 오차가 생기지만, 세 배나 빗나가는 이유가 되지는 못합니다.

이 정도로는 부족합니다. 최신 카드에서 33%, 오래된 카드에서 239%까지 빗나갈 수 있는 추측은, 느린 PC를 괜찮다고 하거나 그 반대가 될 수 있습니다. 그래서 검사기와 카드 페이지에는 측정한 카드만 보여 주고, 내 카드가 거기에 없으면 분명히 그렇게 알려 드립니다. 새 카드를 측정할 때마다 이 테스트를 다시 하고, 오차가 작아지면 추정값을 하나라도 보여 주기 전에 여기서 알리겠습니다.

아직 측정하지 않은 것

• 게이밍 카드가 있는 노트북.
• 10 GB 이상 카드에서의 Gemma 4 12B.
• RX 5700 XT, RTX 5060, GTX 1650, RX 580에서의 이미지.
• GreenCube가 배포하는 것 외의 AI, 그리고 Linux나 Mac(GreenCube는 Windows용입니다).

데이터 받기

이 페이지의 모든 측정값은 한 줄에 하나씩 greencube-ai-speeds.csv 파일에 들어 있습니다. PC, AI, 실행 위치, 출력과 읽기 속도, 이미지 시간, 측정 방법, GreenCube 버전, 날짜입니다. 사용하신다면 다음과 같이 인용하고 이 페이지에 링크해 주세요: "GreenCube, AI speed measurements on real PCs, 2026".

내 PC 추가하기

이미 GreenCube를 쓰고 있나요? 로그를 support@greencube.app로 보내 주세요. 이름 없이 PC를 테스트에 추가하고, 새로운 카드에는 전용 페이지를 만듭니다. 내 PC 사양을 모르겠다면? 여기서 확인하세요.

자주 묻는 질문