RX 5700 XT에서 AI가 돌아갈까? 실측: 초당 63–72 토큰
네. AMD RX 5700 XT(8 GB)와 RAM 48 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 63–72 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
실제 사용감
| 작업 | 이 PC에서 걸리는 시간 |
|---|---|
| 보통 답변 쓰기(400 토큰) | 6 초 |
| 건네준 긴 문서 읽기(5,000 토큰) | 8 초 |
이 PC에서 측정한 속도로 계산했습니다. 시간은 길이를 속도로 나눈 값이고, 실제 답변은 시작하는 데에도 잠깐 시간이 걸립니다. 참고로 영어의 경우 대부분의 사람은 1초에 약 4단어를 읽습니다(Brysbaert, 2019). 한국어는 토큰 수와 글자 수의 관계가 일정하지 않아 여기서는 환산하지 않았습니다. 400 토큰짜리 답변은 읽는 데만도 꽤 시간이 걸립니다.
측정 결과
출력은 AI가 답을 써 내려가는 속도로, 초당 토큰 수로 나타냅니다. 토큰은 단어의 조각입니다. 읽기는 건네준 것(질문, 붙여 넣은 글, PDF)을 받아들이는 속도입니다. AI는 많은 토큰을 한꺼번에 읽을 수 있지만 쓸 때는 하나씩 써야 하므로, 읽기는 항상 출력보다 훨씬 빠릅니다.
| 항목 | 실행 위치 | 결과 | 측정 방법 |
|---|---|---|---|
| Gemma 4 E4B | 그래픽카드 | 63–72 토큰/초 출력 · 594–609 읽기 | 2026년 9월 22일 |
| Gemma 4 E4B | CPU만 | 5 토큰/초 출력 · 357 읽기 | 2026년 9월 22일 |
| Gemma 4 12B | 그래픽카드 | 20–36 토큰/초 출력 · 108–113 읽기 | 2026년 9월 22일 |
각 숫자의 측정 방법: 측정 방법 자세히
- GreenCube가 쓰는 엔진인 llama.cpp의 자체 속도 테스트(llama-bench). 같은 AI 파일로 128 토큰을 쓰고 512 토큰 글을 읽습니다.
여러 번 측정한 경우 범위로 표시했습니다. 같은 PC에서도 실행할 때마다 속도가 조금씩 달라지기 때문입니다.
의미
일을 하는 건 그래픽카드
같은 PC, 같은 AI(Gemma 4 E4B)로 CPU만 쓰면 초당 5 토큰, 그래픽카드에서는 초당 63–72 토큰으로 약 14배 빠릅니다. 그래픽카드는 게임을 위해 수천 개의 작은 계산을 동시에 처리하도록 만들어졌고, AI를 돌리는 것도 대부분 같은 종류의 계산입니다. GreenCube는 시작할 때 둘 다 재 보고 더 빠른 쪽을 씁니다.
AI 전체가 카드에 들어감
Gemma 4 E4B 파일은 4.2 GB이고, 카드에는 자체 메모리(VRAM)가 8 GB 있습니다. 전부 들어가고 대화를 위한 여유도 남기 때문에, 카드가 PC의 더 느린 메모리를 기다릴 일이 없습니다. 이렇게 빠른 가장 큰 이유입니다.
더 큰 Gemma 4 12B
짧은 채팅만 가능합니다. 더 큰 Gemma 4 12B(6.4 GB) 모델은 짧은 질문에서 초당 20–36 토큰을 출력했지만, 채팅이 8,192 토큰(긴 대화)에 이르자 카드가 거의 꽉 차서 다운됐습니다. 그래서 GreenCube는 12B를 10 GB 이상인 카드에만 권합니다.
이미지
가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다. 이미지는 약 6 GB의 전용 AI를 쓰고 채팅 답변보다 훨씬 많은 계산을 하므로, 여기서는 그래픽 성능 차이가 더 크게 납니다.
비교
Gemma 4 E4B 모델로 측정한 PC 8대 중, 이 PC의 출력 속도는 2위입니다. RTX 2080 Ti: 초당 65–71 토큰, 거의 같음. RTX 5060: 초당 56 토큰 (시작 테스트). 이 PC가 약 20% 빠름.
8 GB 카드를 4개 측정했는데, 속도 차이가 큽니다:
어떤 AI가 들어가는지는 메모리가 정하고, 얼마나 빨리 도는지는 카드가 얼마나 새것인지가 정합니다.
테스트 PC
실험실 장비가 아니라, 실제 테스터가 평소대로 쓰는 자기 PC입니다:
- 데스크톱
- 그래픽: AMD RX 5700 XT
- 그래픽 메모리(VRAM): 8 GB
- RAM: 48 GB
- CPU: Intel Core i7-9700, 8 스레드
내 PC 확인하기
내 PC 사양을 모르겠다면? 30초면 확인할 수 있습니다:
- Ctrl + Shift + Esc를 눌러 작업 관리자를 엽니다.
- 성능 탭으로 갑니다.
- 메모리를 클릭합니다. 오른쪽 위 숫자가 RAM입니다.
- GPU를 클릭합니다. 오른쪽 위 이름이 카드 이름이고, 전용 GPU 메모리가 VRAM입니다. 전용 메모리가 없는 Intel이나 AMD 그래픽만 보인다면 별도 카드가 없는 것입니다.
그다음 전체 표에서 가장 가까운 카드를 찾아보세요. 같은 카드라도 VRAM이 많으면 더 큰 AI가 들어가고, 같은 용량이면 새 카드가 대개 더 빠릅니다.
측정한 다른 PC
- RTX 2080 Ti: 65–71 토큰/초 (Gemma 4 E4B)
- RTX 5060: 56 토큰/초 (Gemma 4 E4B)
- RTX 3060: 53–55 토큰/초 (Gemma 4 E4B)
- RX 6600: 42–44 토큰/초 (Gemma 4 E4B)
- GTX 1660 Super: 37–38 토큰/초 (Gemma 4 E4B)
- GTX 1650: 약 20 토큰/초 (Gemma 4 E4B)
- Intel Core Ultra 5 노트북: 14–18 토큰/초 (Gemma 4 E2B)
- RX 580: 10–11 토큰/초 (Gemma 4 E4B)
- Intel Iris Xe 노트북: 5–7 토큰/초 (Gemma 4 E2B)
내 PC에서 AI가 돌아갈까? PC 10대 전체를 한 표에, 그리고 내 PC에서의 사용감.
자주 묻는 질문
RX 5700 XT에서 AI를 로컬로 돌릴 수 있나요?
네. AMD RX 5700 XT(8 GB)와 RAM 48 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 63–72 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
RX 5700 XT에서 AI 이미지를 만들 수 있나요?
가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다.
AI는 RX 5700 XT에서 더 빠를까요, CPU에서 더 빠를까요?
카드가 훨씬 빠릅니다. CPU는 초당 5 토큰, 카드는 초당 63–72 토큰으로 약 14배입니다.
RX 5700 XT에서 Gemma 4 12B가 돌아가나요?
짧은 채팅만 가능합니다. 더 큰 Gemma 4 12B(6.4 GB) 모델은 짧은 질문에서 초당 20–36 토큰을 출력했지만, 채팅이 8,192 토큰(긴 대화)에 이르자 카드가 거의 꽉 차서 다운됐습니다. 그래서 GreenCube는 12B를 10 GB 이상인 카드에만 권합니다.