GreenCube
KO
GreenCube 구매

GreenCube 블로그

RTX 5060에서 AI가 돌아갈까? 실측: 초당 56 토큰

네. NVIDIA RTX 5060(8 GB)와 RAM 32 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 56 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.

56Gemma 4 E4B 모델의 초당 토큰 수
4.6×CPU보다 카드에서 빠름

실제 사용감

작업이 PC에서 걸리는 시간
보통 답변 쓰기(400 토큰)7 초

이 PC에서 측정한 속도로 계산했습니다. 시간은 길이를 속도로 나눈 값이고, 실제 답변은 시작하는 데에도 잠깐 시간이 걸립니다. 참고로 영어의 경우 대부분의 사람은 1초에 약 4단어를 읽습니다(Brysbaert, 2019). 한국어는 토큰 수와 글자 수의 관계가 일정하지 않아 여기서는 환산하지 않았습니다. 400 토큰짜리 답변은 읽는 데만도 꽤 시간이 걸립니다.

측정 결과

출력은 AI가 답을 써 내려가는 속도로, 초당 토큰 수로 나타냅니다. 토큰은 단어의 조각입니다. 읽기는 건네준 것(질문, 붙여 넣은 글, PDF)을 받아들이는 속도입니다. AI는 많은 토큰을 한꺼번에 읽을 수 있지만 쓸 때는 하나씩 써야 하므로, 읽기는 항상 출력보다 훨씬 빠릅니다.

항목실행 위치결과측정 방법
Gemma 4 E4B그래픽카드55.9 토큰/초 출력2026년 10월 1일
Gemma 4 E4BCPU만12.1 토큰/초 출력2026년 10월 1일

각 숫자의 측정 방법: 측정 방법 자세히

  1. GreenCube 0.1.42 버전의 자체 속도 테스트. 시작할 때 그래픽카드와 CPU 중 무엇을 쓸지 고르려고 실행하며, 각각에서 짧은 답을 한 번 씁니다.

여러 번 측정한 경우 범위로 표시했습니다. 같은 PC에서도 실행할 때마다 속도가 조금씩 달라지기 때문입니다.

의미

일을 하는 건 그래픽카드

같은 PC, 같은 AI(Gemma 4 E4B)로 CPU만 쓰면 초당 12.1 토큰, 그래픽카드에서는 초당 55.9 토큰으로 약 4.6배 빠릅니다. 그래픽카드는 게임을 위해 수천 개의 작은 계산을 동시에 처리하도록 만들어졌고, AI를 돌리는 것도 대부분 같은 종류의 계산입니다. GreenCube는 시작할 때 둘 다 재 보고 더 빠른 쪽을 씁니다.

AI 전체가 카드에 들어감

Gemma 4 E4B 파일은 4.2 GB이고, 카드에는 자체 메모리(VRAM)가 8 GB 있습니다. 전부 들어가고 대화를 위한 여유도 남기 때문에, 카드가 PC의 더 느린 메모리를 기다릴 일이 없습니다. 이렇게 빠른 가장 큰 이유입니다.

더 큰 Gemma 4 12B

여유롭지 않습니다. GreenCube는 더 큰 Gemma 4 12B 모델을 VRAM이 10 GB 이상인 카드에만 권하는데, 이 카드는 8 GB입니다. 8 GB AMD RX 5700 XT에서는 짧은 질문에는 답했지만, 긴 채팅에서 다운됐습니다.

이미지

가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다. 이미지는 약 6 GB의 전용 AI를 쓰고 채팅 답변보다 훨씬 많은 계산을 하므로, 여기서는 그래픽 성능 차이가 더 크게 납니다.

비교

Gemma 4 E4B 모델로 측정한 PC 8대 중, 이 PC의 출력 속도는 3위입니다. RX 5700 XT: 초당 63–72 토큰, 약 20% 빠름. RTX 3060: 초당 53–55 토큰. 이 PC가 약 5% 빠름.

8 GB 카드를 4개 측정했는데, 속도 차이가 큽니다:

어떤 AI가 들어가는지는 메모리가 정하고, 얼마나 빨리 도는지는 카드가 얼마나 새것인지가 정합니다.

테스트 PC

실험실 장비가 아니라, 실제 테스터가 평소대로 쓰는 자기 PC입니다:

내 PC 확인하기

내 PC 사양을 모르겠다면? 30초면 확인할 수 있습니다:

  1. Ctrl + Shift + Esc를 눌러 작업 관리자를 엽니다.
  2. 성능 탭으로 갑니다.
  3. 메모리를 클릭합니다. 오른쪽 위 숫자가 RAM입니다.
  4. GPU를 클릭합니다. 오른쪽 위 이름이 카드 이름이고, 전용 GPU 메모리가 VRAM입니다. 전용 메모리가 없는 Intel이나 AMD 그래픽만 보인다면 별도 카드가 없는 것입니다.

그다음 전체 표에서 가장 가까운 카드를 찾아보세요. 같은 카드라도 VRAM이 많으면 더 큰 AI가 들어가고, 같은 용량이면 새 카드가 대개 더 빠릅니다.

측정한 다른 PC

내 PC에서 AI가 돌아갈까? PC 10대 전체를 한 표에, 그리고 내 PC에서의 사용감.

자주 묻는 질문

RTX 5060에서 AI를 로컬로 돌릴 수 있나요?

네. NVIDIA RTX 5060(8 GB)와 RAM 32 GB를 갖춘 데스크톱에서 Gemma 4 E4B 모델의 출력 속도는 초당 56 토큰이었습니다. 읽는 속도보다 빠르게 답이 나옵니다.

RTX 5060에서 AI 이미지를 만들 수 있나요?

가능성이 높지만, 이 카드에서는 아직 이미지 생성 시간을 재지 않았습니다. 측정하면 여기에 숫자를 올리겠습니다.

AI는 RTX 5060에서 더 빠를까요, CPU에서 더 빠를까요?

카드가 훨씬 빠릅니다. CPU는 초당 12.1 토큰, 카드는 초당 55.9 토큰으로 약 4.6배입니다.

RTX 5060에서 Gemma 4 12B가 돌아가나요?

여유롭지 않습니다. GreenCube는 더 큰 Gemma 4 12B 모델을 VRAM이 10 GB 이상인 카드에만 권하는데, 이 카드는 8 GB입니다. 8 GB AMD RX 5700 XT에서는 짧은 질문에는 답했지만, 긴 채팅에서 다운됐습니다.

내 PC에서 돌아가는 나만의 AI

GreenCube는 내 컴퓨터에서 돌아갑니다. 사용 제한 없음, 구독 없음, 인터넷 없이도 작동. €9.99, 한 번 결제.

GreenCube 받기