GTX 1650에서 AI가 돌아갈까? 실측: 초당 약 20 토큰
네. NVIDIA GTX 1650(4 GB)와 RAM 16 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 약 20 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
실제 사용감
| 작업 | 이 PC에서 걸리는 시간 |
|---|---|
| 보통 답변 쓰기(400 토큰) | 20 초 |
| 건네준 긴 문서 읽기(5,000 토큰) | 0:13–3:28 분 |
이 PC에서 측정한 속도로 계산했습니다. 시간은 길이를 속도로 나눈 값이고, 실제 답변은 시작하는 데에도 잠깐 시간이 걸립니다. 참고로 영어의 경우 대부분의 사람은 1초에 약 4단어를 읽습니다(Brysbaert, 2019). 한국어는 토큰 수와 글자 수의 관계가 일정하지 않아 여기서는 환산하지 않았습니다. 400 토큰짜리 답변은 읽는 데만도 꽤 시간이 걸립니다.
측정 결과
출력은 AI가 답을 써 내려가는 속도로, 초당 토큰 수로 나타냅니다. 토큰은 단어의 조각입니다. 읽기는 건네준 것(질문, 붙여 넣은 글, PDF)을 받아들이는 속도입니다. AI는 많은 토큰을 한꺼번에 읽을 수 있지만 쓸 때는 하나씩 써야 하므로, 읽기는 항상 출력보다 훨씬 빠릅니다.
| 항목 | 실행 위치 | 결과 | 측정 방법 |
|---|---|---|---|
| Gemma 4 E4B | 그래픽카드(RAM으로 넘침) | 약 20 토큰/초 출력 · 24–395 읽기 | 2026년 9월 23일 |
| Gemma 4 E4B (두 번째 PC)* | 그래픽카드(RAM으로 넘침) | 8–25 토큰/초 출력 · 32–301 읽기 | 2026년 10월 1일 |
각 숫자의 측정 방법: 측정 방법 자세히
- GreenCube 0.1.40 및 0.1.42 버전에서의 실제 채팅: 100 토큰 이상인 모든 답의 속도를 앱 로그에서 읽었습니다. 범위는 가장 느린 10%와 가장 빠른 10%를 뺀 것입니다.
여러 번 측정한 경우 범위로 표시했습니다. 같은 PC에서도 실행할 때마다 속도가 조금씩 달라지기 때문입니다. * 이 테스터는 주로 짧은 질문을 했기 때문에, 100 토큰 미만의 답변도 포함했습니다. 짧은 답은 조금 느리게 측정됩니다.
의미
카드에 다 들어가지 않음
Gemma 4 E4B 파일은 4.2 GB이고 카드는 4 GB여서 통째로 들어가지 않고, 일부는 일반 메모리(RAM)에 놓입니다. 토큰을 하나 쓸 때마다 훨씬 느린 경로로 그 부분에 접근해야 해서, 속도가 떨어지고 들쭉날쭉합니다. 그래도 초당 약 20 토큰으로 씁니다. 붙여 넣은 글을 읽는 속도는 날마다 초당 24~395 토큰으로 크게 달라졌는데, 카드가 꽉 찼기 때문으로 보입니다.
같은 카드의 두 번째 PC
다른 테스터의 GTX 1650에서 GreenCube 0.1.42 버전으로 Gemma 4 E4B 모델을 돌리니, 출력은 초당 8–25 토큰, 읽기는 초당 32–301 토큰이었습니다. 답변 대부분이 짧았는데, 짧은 답은 긴 답보다 느리게 측정됩니다. 가장 긴 답은 그 범위의 위쪽 끝 근처였습니다.
더 큰 Gemma 4 12B
여유롭지 않습니다. GreenCube는 더 큰 Gemma 4 12B 모델을 VRAM이 10 GB 이상인 카드에만 권하는데, 이 카드는 4 GB입니다. 8 GB AMD RX 5700 XT에서는 짧은 질문에는 답했지만, 긴 채팅에서 다운됐습니다.
이미지
가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다. 이미지는 약 6 GB의 전용 AI를 쓰고 채팅 답변보다 훨씬 많은 계산을 하므로, 여기서는 그래픽 성능 차이가 더 크게 납니다.
비교
Gemma 4 E4B 모델로 측정한 PC 8대 중, 이 PC의 출력 속도는 7위입니다. GTX 1660 Super: 초당 37–38 토큰, 약 90% 빠름. RX 580: 초당 10–11 토큰. 이 PC가 약 90% 빠름.
테스트 PC
실험실 장비가 아니라, 실제 테스터가 평소대로 쓰는 자기 PC입니다:
- 데스크톱
- 그래픽: NVIDIA GTX 1650
- 그래픽 메모리(VRAM): 4 GB
- RAM: 16 GB
- CPU: 16 스레드
내 PC 확인하기
내 PC 사양을 모르겠다면? 30초면 확인할 수 있습니다:
- Ctrl + Shift + Esc를 눌러 작업 관리자를 엽니다.
- 성능 탭으로 갑니다.
- 메모리를 클릭합니다. 오른쪽 위 숫자가 RAM입니다.
- GPU를 클릭합니다. 오른쪽 위 이름이 카드 이름이고, 전용 GPU 메모리가 VRAM입니다. 전용 메모리가 없는 Intel이나 AMD 그래픽만 보인다면 별도 카드가 없는 것입니다.
그다음 전체 표에서 가장 가까운 카드를 찾아보세요. 같은 카드라도 VRAM이 많으면 더 큰 AI가 들어가고, 같은 용량이면 새 카드가 대개 더 빠릅니다.
측정한 다른 PC
- RTX 2080 Ti: 65–71 토큰/초 (Gemma 4 E4B)
- RX 5700 XT: 63–72 토큰/초 (Gemma 4 E4B)
- RTX 5060: 56 토큰/초 (Gemma 4 E4B)
- RTX 3060: 53–55 토큰/초 (Gemma 4 E4B)
- RX 6600: 42–44 토큰/초 (Gemma 4 E4B)
- GTX 1660 Super: 37–38 토큰/초 (Gemma 4 E4B)
- Intel Core Ultra 5 노트북: 14–18 토큰/초 (Gemma 4 E2B)
- RX 580: 10–11 토큰/초 (Gemma 4 E4B)
- Intel Iris Xe 노트북: 5–7 토큰/초 (Gemma 4 E2B)
내 PC에서 AI가 돌아갈까? PC 10대 전체를 한 표에, 그리고 내 PC에서의 사용감.
자주 묻는 질문
GTX 1650에서 AI를 로컬로 돌릴 수 있나요?
네. NVIDIA GTX 1650(4 GB)와 RAM 16 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 약 20 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.
GTX 1650에서 AI 이미지를 만들 수 있나요?
가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다.
GTX 1650에서 Gemma 4 12B가 돌아가나요?
여유롭지 않습니다. GreenCube는 더 큰 Gemma 4 12B 모델을 VRAM이 10 GB 이상인 카드에만 권하는데, 이 카드는 4 GB입니다. 8 GB AMD RX 5700 XT에서는 짧은 질문에는 답했지만, 긴 채팅에서 다운됐습니다.