ChatGPT나 Gemini 같은 서비스에 프롬프트를 보낼 때마다 그 요청은 인터넷을 가로질러 어딘가의 서버에 도착하고, 우리가 결코 들여다볼 수 없는 시스템의 일부가 됩니다. 클라우드 모델이 더 빠르고, 더 똑똑하고, 사용하기 편리하기 때문에 이런 트레이드오프는 대체로 감수할 만한 것입니다.
하지만 스마트폰에서 직접 소형 언어 모델(LLM)을 실행해보면서 AI를 활용하는 방식 자체가 달라졌습니다. 경험이 훨씬 프라이빗해졌고, 때로는 예상보다 더 실용적이었습니다. 물론 클라우드 AI만큼 강력하지는 않지만, 특정 용도로는 오히려 더 나은 도구가 되기도 합니다.
스마트폰에서 로컬 LLM을 활용하며 가장 유용했던 방법들을 소개합니다.
1. 생각의 파트너로 활용
스마트폰 밖으로 나가길 원하지 않는 질문들
ChatGPT나 심지어 검색엔진에 입력하기 전에 한 번 망설여지게 되는 질문들이 있습니다. 부적절해서가 아니라, 내 계정과 연결된 서버로 전송되기에 마음이 편치 않을 정도로 개인적인 내용이기 때문입니다. '너무 개인적이다'의 기준은 사람마다 다르겠지만, 누구에게나 보이지 않는 선이 하나쯤 있는 법입니다.
저는 바로 이런 질문들을 로컬 모델로 넘기기 시작했습니다. 대화 내용이 전부 내 기기 안에 머무르고, 더 신경 쓰고 싶다면 스마트폰을 비행기 모드로 전환해 외부와 완전히 차단된 에어갭 대화까지 가능합니다. 그 순간에는 정말 나와 모델만 남고, 외부 세계와는 아무런 연결이 없습니다.
이렇게 되면 AI를 사용하는 태도가 달라집니다. 생각을 소리 내어 말하듯 흘리고, 미완성인 아이디어를 마음껏 실험하고, 평소에는 혼자만 품었을 질문들도 훨씬 편하게 던질 수 있습니다.
MNN
2. 지저분한 메모를 쏟아붓고 구조화된 결과를 돌려받는다
흩어진 생각에 질서를 더한다
메모를 아주 많이 하는데, 솔직히 대부분은 엉망진창입니다. 제자리를 맴도는 음성 인식 전사문, 맥락 없는 불릿 포인트, 그 순간에는 완벽하게 이해됐지만 나중에는 도무지 알 수 없는 반쯤 끝낸 생각들까지요. 예전에는 메모를 한참 들여다보고, 줄을 이리저리 옮기며 내가 무슨 의도였는지 천천히 재구성하는 작업을 반복했습니다.
이제는 그런 브레인 덤프를 로컬 모델에 그대로 붙여넣고 정리를 요청합니다. 모델은 흩어진 실마리를 잡아내고, 제가 맴돌았던 핵심이 무엇인지 파악한 뒤, 발전시킬 만한 깔끔한 형태의 결과물을 돌려줍니다. 완벽하게 다듬어진 것은 아니지만, 다음 단계로 나아가기에 충분히 일관성 있습니다.
특히 너무 생생해서 어디에도 보내기 꺼려지는 메모에 잘 맞습니다. 모든 처리가 기기 내에서 이루어지기 때문에 실명, 수치, 개인적인 맥락이 담긴 자료도 주저 없이 붙여넣을 수 있습니다. 텍스트가 어디로 가는지 걱정하며 망설일 필요가 없습니다. 텍스트는 절대 기기를 떠나지 않으니까요. 제가 문서를 클라우드로 보내는 것을 멈추고 모든 작업을 로컬 AI로 전환한 바로 그 이유입니다.
3. 간단한 코드 검토에 활용
로직을 가볍게 점검하고 싶을 때
사내 전용 로직, 내부 도구, 고객사별 설정 파일 — 서비스 약관이 어떻게 되어 있든, 이런 코드를 클라우드 모델에 붙여넣는 것은 위험천만한 일에 가깝습니다. 노트북에서 멀어져 있을 때 스마트폰에서 돌아가는 로컬 LLM이 가벼운 대안이 되어 줍니다. 데스크톱에서 MCP 도구와 함께 로컬 LLM을 활용하는 방법이 다양하듯, 스마트폰에서도 오류를 설명하거나, 짧은 함수를 붙여넣거나, 코드 조각이 무엇을 하는지 일상 언어로 설명을 요청할 수 있습니다.
물론 제대로 된 IDE를 대체하지는 못합니다. 전혀요. 하지만 빈틈은 잘 메워 줍니다. 몇백 줄 이내의 작은 코드 조각에서 가장 잘 작동합니다. 이 범위 안이라면 성능이 크지 않은 온디바이스 모델도 로직 설명, 명백한 실수 발견, 더 깔끔한 접근법 제안에 능숙합니다.
4. 부담 없는 언어 과외 선생님으로
스트릭도, 점수도, 압박감도 없이 연습
클라우드 기반 언어 학습 앱은 배움의 도구라기보다 모바일 게임처럼 느껴질 때가 많습니다. 연속 학습일수를 추적하고, 알림으로 재촉하고, 광고를 섞어 집중력을 붙잡습니다. 로컬 LLM은 그런 장치가 하나도 없습니다.
저는 프랑스어와 스페인어를 훨씬 자유로운 방식으로 연습하는 데 활용하고 있습니다. Kindle과 ChatGPT를 조합해 새 언어를 배우는 요령에서 영감을 받아, 어색한 문법 질문을 던지고, 롤플레이 상황극을 요청하고, 실수를 걱정하지 않은 채 가벼운 일상 대화를 나눕니다. 점수 시스템도 없고, 평가받는다는 느낌도 없습니다.
로컬에서 실행되기 때문에 오프라인에서도 작동합니다. 비행기 안에서, 연결이 불안정한 호텔 Wi-Fi 환경에서, 인터넷이 믿음직스럽지 않은 어디서든 연습할 수 있습니다. 통신 환경을 미리 계획하지 않고도 짧은 학습 세션을 틈틈이 챙기기 좋습니다.
5. 카메라를 사물에 겨누고 묻는다
"이게 뭐야?"
일부 로컬 모델은 텍스트뿐 아니라 이미지도 처리할 수 있습니다. 이런 모델을 멀티모달 모델이라고 부르는데, 덕분에 실용적인 활용 폭이 크게 넓어집니다. 저는 주로 화이트보드 요약, 필기 노트 해독, 급하게 찍은 사진에서 핵심 포인트 추출에 사용합니다.
일상적인 상황에서도 유용합니다. 식품 원재료 라벨을 찍어 알레르기 유발 성분을 재확인하고, 낯선 용어가 적힌 제품 포장을 촬영해 의미를 파악하고, 식물 사진을 찍어 대략적인 종류를 확인하기도 했습니다. 모델이 완전히 온디바이스에서 실행되므로 이 모든 작업에 인터넷 연결이 필요 없습니다.
결과가 항상 완벽하지는 않습니다. 소형 모델은 이미지가 흐릿하거나 복잡할 때 특히 세부 정보를 지어내는 환각 현상을 보일 수 있습니다. 그래도 빠른 참고 자료나 두 번째 의견으로는 대체로 충분하며, 사실 그 정도면 필요한 전부입니다.
더 작은 모델이지만, 또 다른 종류의 유용함
알리바바가 오픈소스로 개발한 MNN Chat은 모바일 하드웨어에서 성능을 극한까지 끌어올리는 능력 덕분에 이런 작업들의 필수 앱이 됐습니다. 안드로이드 스마트폰에서 초소형 LLM을 실행할 수 있다는 것, 그리고 실행해 볼 가치가 있다는 것을 단번에 증명해 줍니다.
그래도 스마트폰에서 로컬 LLM을 돌리는 것이 클라우드 AI를 대체하는 것은 아닙니다. 무거운 작업, 복잡한 추론, 코딩, 딥 리서치 같은 영역에서는 여전히 대형 모델이 우위에 있습니다. 하지만 그게 핵심이 아닙니다. 로컬 모델은 또 다른 역할을 담당합니다. 프라이빗하고, 언제나 손안에 있으며, 일상의 작은 작업들에 놀랍도록 유용합니다.