RTX 2080 Ti에서 AI가 돌아갈까? 실측: 초당 65–71 토큰
네. NVIDIA RTX 2080 Ti(11 GB)와 RAM 128 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 65–71 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
실제 사용감
| 작업 | 이 PC에서 걸리는 시간 |
|---|---|
| 보통 답변 쓰기(400 토큰) | 6 초 |
| 건네준 긴 문서 읽기(5,000 토큰) | 3–4 초 |
| 이미지 만들기(512×512) | 8–9 초 (첫 번째: 83초) |
이 PC에서 측정한 속도로 계산했습니다. 시간은 길이를 속도로 나눈 값이고, 실제 답변은 시작하는 데에도 잠깐 시간이 걸립니다. 참고로 영어의 경우 대부분의 사람은 1초에 약 4단어를 읽습니다(Brysbaert, 2019). 한국어는 토큰 수와 글자 수의 관계가 일정하지 않아 여기서는 환산하지 않았습니다. 400 토큰짜리 답변은 읽는 데만도 꽤 시간이 걸립니다.
측정 결과
출력은 AI가 답을 써 내려가는 속도로, 초당 토큰 수로 나타냅니다. 토큰은 단어의 조각입니다. 읽기는 건네준 것(질문, 붙여 넣은 글, PDF)을 받아들이는 속도입니다. AI는 많은 토큰을 한꺼번에 읽을 수 있지만 쓸 때는 하나씩 써야 하므로, 읽기는 항상 출력보다 훨씬 빠릅니다.
| 항목 | 실행 위치 | 결과 | 측정 방법 |
|---|---|---|---|
| Gemma 4 E4B | 그래픽카드 | 65–71 토큰/초 출력 · 1,380–1,800 읽기 | 2026년 10월 14일 1 |
| Gemma 4 E4B | 그래픽카드 | 75.6 토큰/초 출력 | 2026년 10월 14일 2 |
| Gemma 4 E4B | CPU만 | 13.5 토큰/초 출력 | 2026년 10월 14일 2 |
| 이미지(512×512) | 그래픽카드 | 8–9 초 (첫 장은 로딩 중이라 83초) | 2026년 10월 12일 3 |
각 숫자의 측정 방법: 측정 방법 자세히
- GreenCube 0.1.44 버전에서의 실제 채팅: 100 토큰 이상인 모든 답의 속도를 앱 로그에서 읽었습니다. 범위는 가장 느린 10%와 가장 빠른 10%를 뺀 것입니다.
- GreenCube 0.1.44 버전의 자체 속도 테스트. 시작할 때 그래픽카드와 CPU 중 무엇을 쓸지 고르려고 실행하며, 각각에서 짧은 답을 한 번 씁니다.
- GreenCube의 이미지 엔진(Z-Image Turbo), 512×512 픽셀, 8단계, 클릭부터 완성까지 측정.
여러 번 측정한 경우 범위로 표시했습니다. 같은 PC에서도 실행할 때마다 속도가 조금씩 달라지기 때문입니다.
의미
일을 하는 건 그래픽카드
같은 PC, 같은 AI(Gemma 4 E4B)로 CPU만 쓰면 초당 13.5 토큰, 그래픽카드에서는 초당 75.6 토큰으로 약 5.6배 빠릅니다. 그래픽카드는 게임을 위해 수천 개의 작은 계산을 동시에 처리하도록 만들어졌고, AI를 돌리는 것도 대부분 같은 종류의 계산입니다. GreenCube는 시작할 때 둘 다 재 보고 더 빠른 쪽을 씁니다.
AI 전체가 카드에 들어감
Gemma 4 E4B 파일은 4.2 GB이고, 카드에는 자체 메모리(VRAM)가 11 GB 있습니다. 전부 들어가고 대화를 위한 여유도 남기 때문에, 카드가 PC의 더 느린 메모리를 기다릴 일이 없습니다. 이렇게 빠른 가장 큰 이유입니다.
더 큰 Gemma 4 12B
될 것입니다. Gemma 4 12B 파일은 6.4 GB이고 이 카드는 11 GB여서, 긴 대화를 위한 여유도 있습니다. 이 카드에서는 아직 측정하지 않았습니다.
이미지
네. 이미지 한 장(512×512) 생성 시간: 그래픽카드에서 8–9 초 (첫 장은 로딩 중이라 83초). 이미지는 약 6 GB의 전용 AI를 쓰고 채팅 답변보다 훨씬 많은 계산을 하므로, 여기서는 그래픽 성능 차이가 더 크게 납니다.
비교
Gemma 4 E4B 모델로 측정한 PC 8대 중, 이 PC의 출력 속도는 1위입니다. RX 5700 XT: 초당 63–72 토큰. 이 PC도 거의 같은 속도.
테스트 PC
실험실 장비가 아니라, 실제 테스터가 평소대로 쓰는 자기 PC입니다:
- 데스크톱
- 그래픽: NVIDIA RTX 2080 Ti
- 그래픽 메모리(VRAM): 11 GB
- RAM: 128 GB
- CPU: 32 스레드
내 PC 확인하기
내 PC 사양을 모르겠다면? 30초면 확인할 수 있습니다:
- Ctrl + Shift + Esc를 눌러 작업 관리자를 엽니다.
- 성능 탭으로 갑니다.
- 메모리를 클릭합니다. 오른쪽 위 숫자가 RAM입니다.
- GPU를 클릭합니다. 오른쪽 위 이름이 카드 이름이고, 전용 GPU 메모리가 VRAM입니다. 전용 메모리가 없는 Intel이나 AMD 그래픽만 보인다면 별도 카드가 없는 것입니다.
그다음 전체 표에서 가장 가까운 카드를 찾아보세요. 같은 카드라도 VRAM이 많으면 더 큰 AI가 들어가고, 같은 용량이면 새 카드가 대개 더 빠릅니다.
측정한 다른 PC
- RX 5700 XT: 63–72 토큰/초 (Gemma 4 E4B)
- RTX 5060: 56 토큰/초 (Gemma 4 E4B)
- RTX 3060: 53–55 토큰/초 (Gemma 4 E4B)
- RX 6600: 42–44 토큰/초 (Gemma 4 E4B)
- GTX 1660 Super: 37–38 토큰/초 (Gemma 4 E4B)
- GTX 1650: 약 20 토큰/초 (Gemma 4 E4B)
- Intel Core Ultra 5 노트북: 14–18 토큰/초 (Gemma 4 E2B)
- RX 580: 10–11 토큰/초 (Gemma 4 E4B)
- Intel Iris Xe 노트북: 5–7 토큰/초 (Gemma 4 E2B)
내 PC에서 AI가 돌아갈까? PC 10대 전체를 한 표에, 그리고 내 PC에서의 사용감.
자주 묻는 질문
RTX 2080 Ti에서 AI를 로컬로 돌릴 수 있나요?
네. NVIDIA RTX 2080 Ti(11 GB)와 RAM 128 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 65–71 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
RTX 2080 Ti에서 AI 이미지를 만들 수 있나요?
네. 이미지 한 장(512×512) 생성 시간: 그래픽카드에서 8–9 초 (첫 장은 로딩 중이라 83초).
AI는 RTX 2080 Ti에서 더 빠를까요, CPU에서 더 빠를까요?
카드가 훨씬 빠릅니다. CPU는 초당 13.5 토큰, 카드는 초당 75.6 토큰으로 약 5.6배입니다.
RTX 2080 Ti에서 Gemma 4 12B가 돌아가나요?
될 것입니다. Gemma 4 12B 파일은 6.4 GB이고 이 카드는 11 GB여서, 긴 대화를 위한 여유도 있습니다. 이 카드에서는 아직 측정하지 않았습니다.