최고의 오프라인 AI 챗봇: 확인한 사실로 앱 12개 비교(2026년 10월)
짧은 답: 기기와, 얼마나 직접 설정하고 싶은지에 달려 있습니다. 컴퓨터라면 LM Studio, Jan, Ollama, GPT4All이 무료이고, 모델을 내려받으면 오프라인으로 작동합니다. 모델은 직접 고릅니다. 휴대폰이라면 PocketPal AI와 Atomic Chat. 개발자라면 Ollama, llama.cpp, KoboldCpp. GreenCube(Windows, 9.99유로 한 번)는 내 PC에 맞는 AI를 알아서 고르고, 사진을 읽고 이미지도 만듭니다. 모두 첫 다운로드를 위해 한 번은 인터넷이 필요합니다.
앱 12개 비교
아래 모든 정보는 각 행에 링크한 앱의 웹사이트, 문서, GitHub 페이지에서 2026년 10월 21일에 읽은 것입니다. 앱 페이지에 없는 내용은 추측하지 않고 "명시 안 됨"이라고 적었습니다. 테스트 PC에서 다른 앱은 측정하지 않았으므로, 이 표는 속도나 답변 품질을 비교하지 않습니다.
| 앱 | 실행 환경 | 가격 | 사용 방식 | PDF 읽기 | 사진 보기 |
|---|---|---|---|---|---|
| LM Studio(사이트) | Windows(AVX2 필요), Apple 칩 Mac(macOS 14 이상), Linux | 무료, 업무용도 가능(출처). 비공개 소스 | 채팅 창이 있는 데스크톱 앱. 로컬 서버도 | 예: PDF, DOCX, TXT(문서) | 예, 이미지를 보는 모델로(문서) |
| Jan(사이트) | Windows 10 이상, macOS 13.6 이상, Linux | 무료, 오픈 소스(Apache 2.0) | 채팅 창이 있는 데스크톱 앱 | 예: PDF, Office 파일, 코드(문서) | 예, 이미지를 보는 모델로 |
| Ollama(사이트) | Windows, macOS, Linux | 내 컴퓨터에서는 무료. 선택 사항인 클라우드 플랜은 월 20달러부터(출처). 오픈 소스(MIT) | 명령줄, 그리고 2025년 7월부터 Windows와 Mac에 데스크톱 채팅 창(출처) | 예, 텍스트나 PDF를 끌어다 놓기 | 예, 지원하는 모델로 |
| GPT4All(사이트) | Windows, macOS 12.6 이상, Linux(ARM PC 제외) | 무료, 오픈 소스(MIT) | 채팅 창이 있는 데스크톱 앱 | 예: LocalDocs로 PDF, TXT, MD(문서) | 명시 안 됨 |
| AnythingLLM(사이트) | Windows, macOS, Linux. Android 앱 | 데스크톱 무료, 오픈 소스(MIT) | 데스크톱 앱. 또는 팀용 서버(Docker) | 예: PDF, TXT, DOCX(출처) | 읽은 페이지에 명시 안 됨 |
| Msty(사이트) | Windows 10/11, macOS 11 이상, Linux | 무료 플랜 있음. Aurum은 연 149달러 또는 한 번 349달러. 라이선스 명시 안 됨 | 채팅 창이 있는 데스크톱 앱 | 예, Knowledge Stacks로 | 명시 안 됨 |
| Atomic Chat(사이트) | Windows, macOS 13.6 이상, Linux. iPhone과 Android 앱 | 무료, 오픈 소스(Apache 2.0) | 채팅 창이 있는 데스크톱 또는 휴대폰 앱 | 예: 파일과 PDF | 명시 안 됨 |
| KoboldCpp(사이트) | Windows, Linux, Apple 칩 Mac. Termux를 통해 Android | 무료, 오픈 소스(AGPL-3.0) | 런처가 있는 .exe 하나. 브라우저에서 채팅 | 텍스트 검색(TextDB). PDF는 명시 안 됨 | 예, 이미지를 보는 모델과 추가 파일로 |
| Open WebUI(사이트) | Docker나 Python 3.11이 있는 어디서든. 데스크톱 앱도 | 직접 호스팅하면 무료. 자체 라이선스(50명 넘으면 브랜드 유지)(라이선스) | 브라우저에서 채팅. 보통 Ollama 같은 엔진 위에서 | 예(문서) | 명시 안 됨 |
| llama.cpp(사이트) | Windows, macOS, Linux. Android용으로 빌드 가능 | 무료, 오픈 소스(MIT) | 명령줄. 서버에 브라우저 채팅 페이지 포함 | 명시 안 됨 | 예, 실험적이라고 표시 |
| PocketPal AI(사이트) | iPhone/iPad(iOS 15.1 이상), Android | 무료, 오픈 소스(MIT). 앱 내 선택적 추가 기능 | 휴대폰 앱 | 명시 안 됨 | 이미지를 보는 모델 지원(앱 설명) |
| GreenCube(사이트) | Windows 10과 11 | 9.99유로(9.99달러) 한 번, 제한 없음. 비공개 소스 | 채팅 창이 있는 데스크톱 앱. 내 PC에 맞는 AI를 골라 내려받음 | 예: PDF, 노트, 계약서 | 예: 사진과 스크린샷. 이미지도 만듦 |
"오프라인"이 실제로 뜻하는 것
오프라인 AI 챗봇은 AI 모델을 내 기기에서 돌립니다. 메시지는 회사 서버로 가지 않고 내 컴퓨터나 휴대폰에서 처리됩니다. 그래서 비행기 안이나 와이파이를 꺼도 작동합니다. 하지만 "오프라인"이 "인터넷에 전혀 닿지 않는다"는 뜻은 아닙니다. 이 목록의 모든 앱에 해당하는 세 가지가 있습니다:
- 첫 다운로드에는 인터넷이 필요합니다. 모델은 몇 GB짜리 파일입니다. 한 번 내려받으면 기기에 남습니다.
- 일부 기능은 쓰면 온라인으로 나갑니다. 업데이트 확인, 새 모델 검색, 클라우드 모델, 웹 검색은 모두 인터넷이 필요합니다. 대부분의 앱에서 클라우드 부분은 선택 사항이라, 완전히 로컬로 쓸 수 있습니다.
- "로컬"이 모든 앱이 아무것도 수집하지 않는다는 뜻은 아닙니다. 채팅은 기기에 남지만, 앱 자체에 대한 익명 사용 데이터를 보내는 앱도 있습니다. 신경 쓰인다면 다음 항목을 읽어 보세요.
각 앱이 온라인으로 나간다고 밝히는 것
각 앱의 개인정보 페이지나 문서에서 가져왔습니다. 그들의 말을 요약한 것이며, 네트워크 트래픽을 직접 확인하지는 않았습니다.
| 앱 | 자체 페이지의 설명 |
|---|---|
| LM Studio | 로컬에서 모델을 돌리면 메시지, 채팅 기록, 문서가 전혀 전송되지 않고, 앱에 텔레메트리가 없다고 합니다. 업데이트 확인과 모델 검색·다운로드는 온라인으로 나갑니다. 클라우드 모델과 웹 검색은 직접 고르는 유료 추가 기능입니다(개인정보). |
| Jan | 개인을 식별하는 정보는 수집하지 않으며, 대화는 "로컬에 저장되고 내 컴퓨터를 떠나지 않습니다". 클라우드 AI(OpenAI, Anthropic 등)를 연결하면 메시지는 그 회사로 갑니다(개인정보). |
| Ollama | 로컬로 돌리면 Ollama는 프롬프트를 보지 않지만, "제한된 기기 및 사용 메타데이터(앱 버전, 요청 수 등)를 수집할 수 있습니다". 클라우드 모델은 Ollama 서버에서 돌아갑니다(개인정보). |
| GPT4All | "어떤 데이터도 기기를 떠나지 않습니다". GPT4All 커뮤니티와 채팅을 공유하는 건 선택이며 기본은 꺼짐입니다(설정). 마지막 릴리스는 2025년 2월 24일이었습니다(릴리스). |
| AnythingLLM | 메시지, 채팅, 문서는 기기에 남습니다. 앱에는 설정에서 끌 수 있는 익명 사용 텔레메트리가 있습니다(개인정보). |
| Msty | 제품 분석, 사용 텔레메트리, 오류 보고를 수집하지 않는다고 합니다. 모델 다운로드, 클라우드 모델, 업데이트처럼 직접 고른 기능에서만 온라인으로 나갑니다(개인정보). |
| Atomic Chat | 대화는 "기기를 떠나지 않습니다". 개인정보 처리방침(2026년 6월)은 한 부분에서는 앱이 텔레메트리를 수집하지 않는다고 하고, 다른 부분에서는 앱이 PostHog로 익명 사용 통계를 수집한다고 합니다(개인정보). |
| KoboldCpp, llama.cpp | 페이지에 텔레메트리 언급이 없습니다. llama.cpp에는 네트워크 접근을 막는 오프라인 스위치가 있습니다(문서). KoboldCpp는 koboldcpp.com이 프로젝트가 아닌 가짜 사이트라고 경고합니다. |
| Open WebUI | "완전히 오프라인으로 돌아가도록 만들어졌습니다". 웹 검색과 외부 AI 서비스에는 인터넷이 필요합니다(출처). |
| PocketPal AI | App Store 표시: "수집된 데이터 없음". 앱에 분석이나 오류 보고 도구가 없으며, 직접 보내기로 한 피드백과 벤치마크 결과는 전송됩니다(개인정보). |
| GreenCube | "저희는 여러분의 채팅, 파일, 기억, 이미지를 받지 않습니다." 활성화를 위해 한 번 로그인하고, AI와 업데이트를 내려받으며, 온라인 검색을 켜면 검색어를 검색 엔진에 보냅니다. 온라인 검색은 앱을 열 때마다 꺼진 상태로 시작합니다. |
나에게 맞는 건?
Windows를 쓰고, 모델을 고르기 싫다면
GreenCube는 그래픽카드와 메모리를 보고 맞는 AI를 내려받으므로, 고를 게 없습니다. PDF와 사진을 읽고, 플래시카드와 학습 가이드를 만들고, 이미지도 생성합니다. 9.99유로 한 번 결제입니다. 돈을 내기 싫고 목록에서 모델을 고르는 게 괜찮다면 LM Studio, Jan, GPT4All이 무료 데스크톱 앱입니다.
Mac을 쓴다면
LM Studio(Apple 칩만, macOS 14 이상), Jan, Ollama, GPT4All, Msty, Atomic Chat 모두 Mac 버전이 있습니다. GreenCube는 지금은 Windows 전용입니다.
휴대폰에서 쓰고 싶다면
PocketPal AI(iPhone과 Android)와 Atomic Chat(iPhone과 Android)은 휴대폰 자체에서 모델을 돌립니다. AnythingLLM에는 Android 앱이 있습니다. 휴대폰에는 게이밍 PC보다 작은 모델만 들어가니, 답이 더 단순할 거라고 생각하세요.
개발자이거나 서버가 필요하다면
Ollama와 llama.cpp는 로컬 API가 있는 명령줄 엔진이고, KoboldCpp는 브라우저 채팅이 딸린 .exe 하나입니다. 여러 사람이 함께 쓰는 채팅 페이지라면 Open WebUI나 AnythingLLM의 Docker 버전이 엔진 위에서 돌아갑니다.
오프라인 AI는 얼마나 빠를까? 측정 결과
속도는 앱보다 컴퓨터에 훨씬 더 크게 좌우됩니다. 모델은 그래픽카드나 CPU에서 돌아가니까요. 실제 PC 10대에서 GreenCube를 측정했습니다(같은 PC에서 다른 앱은 측정하지 않았으므로, 비교하지 않습니다):
| 내 PC | 출력 | 이미지 한 장 |
|---|---|---|
| 그래픽카드 없는 8 GB 노트북 | 5–7 토큰/초, 대략 읽는 속도 | 불가 |
| 그래픽카드 없는 16 GB 노트북 | 14–18 토큰/초 | 2–2.5분 |
| 6 GB 이상 카드의 게이밍 PC | 대부분의 카드에서 37–76 토큰/초 | 8–89초 |
토큰은 단어의 조각이라, 초당 수십 토큰이면 눈으로 따라가기 힘들 만큼 확실히 빠릅니다. 내 카드의 숫자는 내 PC에서 AI가 돌아갈까?에, 방법은 측정 방법에 있습니다.
오프라인 챗봇이 못 하는 것
- 오늘의 뉴스를 모릅니다. 모델은 공개되기 전에 배운 것만 압니다. 앱이 웹을 검색할 수 있다면 예외지만, 그 부분은 온라인으로 나갑니다.
- ChatGPT나 Gemini보다 작습니다. 평범한 PC에 들어가는 모델은 일상과 공부 질문에 잘 답하지만, 가장 어려운 문제에서는 가장 큰 클라우드 AI가 아직 앞서 있습니다. 모두 실수할 수 있으니 중요한 사실은 확인하세요.
- 일하는 건 내 기기입니다. 8 GB 노트북에서는 대략 읽는 속도이고, 게이밍 PC에서는 훨씬 빠릅니다. 쓰는 동안 배터리와 메모리를 씁니다.
확인 방법
2026년 10월 21일, 리뷰나 다른 목록이 아니라 각 앱의 웹사이트, 문서, GitHub 페이지, 앱 스토어 정보, 개인정보 처리방침을 직접 읽고, 각 정보의 출처 페이지를 링크했습니다. 그 페이지에 적힌 것만 썼고, 답이 없으면 "명시 안 됨"이라고 했습니다. GreenCube의 속도는 PC 10대에서 직접 한 테스트에서 나왔습니다. 저희가 GreenCube를 만들기 때문에, 누구나 확인할 수 있는 사실만 담았고 앱 순위는 매기지 않았습니다. 이 페이지들은 매달 다시 확인하고 위의 날짜를 업데이트합니다.
자주 묻는 질문
최고의 오프라인 AI 챗봇은?
모두에게 최고인 건 없습니다. 컴퓨터에서 무료로, 모델을 직접 고른다면 LM Studio, Jan, Ollama, GPT4All. 휴대폰이라면 PocketPal AI나 Atomic Chat. 개발자라면 Ollama, llama.cpp, KoboldCpp. GreenCube(Windows, 9.99유로 한 번)는 내 PC에 맞는 AI를 알아서 고르고 이미지도 만듭니다.
오프라인 AI 챗봇은 정말 인터넷 없이 작동하나요?
네, 모델을 내려받은 뒤라면요. 첫 다운로드(보통 몇 GB)에는 인터넷이 필요하고, 업데이트 확인, 새 모델 검색, 선택 사항인 클라우드 모델, 웹 검색은 쓰면 온라인으로 나갑니다.
무료 오프라인 AI 챗봇이 있나요?
있습니다. LM Studio, Jan, Ollama, GPT4All, AnythingLLM, Atomic Chat, KoboldCpp, llama.cpp, PocketPal AI는 무료이고, Msty는 무료 플랜이 있습니다. 확인한 12개 중 무료 버전이 없는 건 GreenCube(9.99유로 한 번)뿐입니다.
오프라인 AI 챗봇이 내 PDF를 읽을 수 있나요?
많은 앱이 읽습니다. GreenCube, LM Studio, Jan, Ollama, GPT4All, AnythingLLM, Msty, Atomic Chat, Open WebUI 모두 PDF나 문서를 받는다고 하며, 읽는 작업은 내 컴퓨터에서 일어납니다.
Android용 오프라인 AI 챗봇이 있나요?
있습니다. PocketPal AI(iPhone에도), Atomic Chat(Android와 iPhone), AnythingLLM의 Android 앱입니다. 휴대폰은 게이밍 PC보다 느리고 더 작은 모델만 들어갑니다.