윈도우에서 로컬 LLM을 돌리는 게 이렇게 까다로울 줄은 몰랐습니다. 겨우 작동하는 듯싶어도 나중에 알고 보니 인스턴스가 전부 CPU에서 돌아가고 있었죠. 드라이버 설정, 환경 변수 구성, 그리고 Ollama 모델을 받은 뒤 WSL2까지 세팅하는 과정은 마치 별도의 프로젝트처럼 느껴졌습니다. 그리고 그 후에도 이 스택을 유지 관리하는 일은 지치기 십상이었습니다.
그런데 리눅스에서 같은 작업을 해봤더니 놀랍도록 순탄했습니다. 절차가 더 직관적이고 간단했으며, 무엇보다 "언젠가 무너지지 않을까" 하는 불안감이 사라졌습니다. 리눅스 터미널을 로컬 AI 어시스턴트로 바꿨던 경험과 비슷한 느낌이었습니다.
10분이면 끝났어야 할 설정
윈도우의 Ollama는 왜 자꾸 발목을 잡는가
윈도우에서 Ollama를 설치하는 과정은 언뜻 간단해 보이지만, 실제로는 설치 파일을 내려받아 실행하는 것 이상의 작업이 필요합니다. 첫 실행에서 텍스트와 응답이 정상적으로 출력되면 모든 게 잘 된 것이라 착각하기 쉽습니다. 하지만 ollama ps 명령으로 확인해 보면 GPU가 유휴 상태인 경우가 많습니다. CPU로 돌아가고 있는 것이며, 초당 3~5토큰 수준의 속도는 정상 속도에 크게 못 미칩니다.
Ollama의 기본 동작인 '조용한 폴백(silent fallback)'은 흔하면서도 발견하기 어렵습니다. 오류 메시지가 전혀 출력되지 않기 때문입니다. VRAM이 모델에 비해 부족하면 다른 OS에서도 이런 현상이 생길 수 있지만, 윈도우에서는 드라이버와 설치 프로그램 간 경합 조건(race condition), 환경 변수 전파 문제, 리소스 경합 등 추가 요인들이 이를 유발합니다.
겉보기에 아무 문제가 없어도 실패할 수 있고, 그럴 때 WSL2로 눈을 돌리게 됩니다. 저는 Docker로 Open WebUI를 설치해 봤는데, 브라우저 기반 서비스임에도 Ollama를 로컬 ChatGPT처럼 쓸 수 있어 만족스러웠습니다. 그런데 Docker가 윈도우에서 가장 안정적으로 돌아가는 환경은 WSL2입니다. WSL2는 윈도우 안에서 실행되는 리눅스 환경으로, 문제를 피하려면 세심한 설정이 필요합니다.
물론 결국에는 성공합니다. 문제는 이 과정이 '끝난 느낌'이 들지 않는다는 점입니다. 하나를 고치면 또 다른 문제가 생기고, 그걸 고치면 또 다른 문제가 나타나는 반복입니다. 작동하는 환경을 만들기까지 5분이 걸릴지 5시간이 걸릴지 예측할 수 없습니다.
리눅스 설치는 실제로 이렇게 진행됐다
명령 한 줄, GPU 활성화, 더 이상 설정할 것 없음
반면 리눅스에서의 로컬 LLM 설치는 너무나 평온했습니다. 설치 명령 한 줄 → 모델 다운로드 → GPU 감지, 그게 전부였습니다. 첫 응답을 생성할 때 혹시 수정할 게 있을까 곁에 붙어 있었지만, 수정할 것은 없었습니다.
이건 어느 OS가 더 낫냐의 문제가 아닙니다. 단순히 Ollama 설치 스크립트가 처음부터 리눅스용으로 작성됐고, 바이너리 설치부터 시스템 시작 시 함께 구동되는 백그라운드 서비스 등록, GPU 하드웨어 자동 감지까지 거의 완벽하게 작동하기 때문입니다. 여기에는 브리징 계층이나 환경 번역이 전혀 필요하지 않습니다. 설치 전에 드라이버만 제대로 갖춰져 있다면 전 과정이 알아서 처리됩니다.
만약 드라이버 확인 전에 설치해서 GPU 감지에 실패했다면, Ollama를 재설치하면 간단히 해결됩니다.
제 경험을 바탕으로 두 OS의 설치 과정을 비교하면 다음과 같습니다:
| 단계 | Windows | Linux |
|---|---|---|
| Ollama 설치 | .exe 설치 프로그램 (GPU 사용 여부는 별도 확인 필요) | 명령 한 줄 (GPU 자동 감지) |
| 첫 실행 시 GPU 사용 | 조용히 CPU로 폴백되는 경우가 많음 | 드라이버가 갖춰져 있으면 즉시 사용 |
| Open WebUI 설정 | WSL2 설치 및 그 안에서 Docker 구성 필요 | Docker 명령 한 줄 |
| AMD GPU 가속 | 실험적 지원 (ROCm v6.1+, CPU 폴백 잦음) | ROCm v7로 완전 지원 |
| Ollama 시작 시 자동 실행 | 수동 설정 필요 | systemd로 자동 |
윈도우는 '지원' 대상일 뿐, 리눅스는 도구들의 고향
생태계에 오래 머물다 보면 알게 되는 사실이 있습니다. Ollama, Open WebUI, Docker는 윈도우를 위해 만들어진 것이 아니며, Python 통합 역시 이들을 중심으로 설계된 것이 아닙니다. 윈도우 지원은 그 위에 덧씌워진 것이고, 이 차이는 생각보다 훨씬 큽니다.
가장 좋은 예가 Open WebUI입니다. 리눅스에서는 Docker 명령 한 줄이면 끝납니다. 이 명령 하나로 컨테이너가 즉시 시작되어 로컬 Ollama 인스턴스에 연결되고, 브라우저만 열면 됩니다. 반면 윈도우에서는 이 모든 요소를 직접 구성해야 합니다. 물론 되긴 하지만, 첫 시도에 성공하는 경우가 드물고 대개 긴 디버깅 과정으로 이어집니다.
AMD GPU 사용자에게는 문제가 더 복잡합니다. AMD의 GPU 추론용 컴퓨팅 플랫폼인 ROCm은 리눅스에서 버전 7까지 완전히 지원됩니다. 반면 윈도우에서는 공식 지원이 6.1+에서 멈춰 있고 여전히 실험적 단계입니다. 그 결과 하드웨어 성능과 무관하게 많은 윈도우 AMD GPU 사용자가 Ollama를 CPU로 돌리고 있습니다. 근본적인 GPU 스택 자체가 없기 때문입니다.
참고로 Ollama와 별개의 도구로 LM Studio를 고려해볼 만합니다. GUI 우선 설계로 윈도우와 리눅스 모두에서 깔끔하게 돌아가며, 터미널 없이 모델을 실행할 수 있습니다. 다만 단순히 로컬 LLM과 대화하는 것 이상의 작업을 원한다면 한계가 있습니다.
절약되는 시간은 초기 설치에만 있지 않다
초기 설치가 매우 매끄러웠다는 것만으로도 만족스러웠지만, 리눅스에서 로컬 LLM을 운영하는 진짜 장점은 사용할수록 더 크게 와닿았습니다. 로컬 LLM은 한 번 설치해 두면 영원히 쓰는 것이 아니기 때문입니다. 새 모델이 나올 때마다 계속 시도하게 되고, 모델이 느려지면 더 작은 양자화(quantized) 버전을 찾게 됩니다.
이런 변화가 있을 때마다 시스템 수준의 변경이 필요합니다. 윈도우에서 초기에 겪은 복잡함은 설정을 바꿀 때마다 되돌아오고, 로컬 LLM 경험을 몹시 불쾌하게 만들 뿐입니다.
로컬 LLM 하나 때문에 리눅스를 시도해보고 싶다면 Linux Mint를 권합니다. 윈도우 생태계에서 넘어오는 사람에게 가장 적합한 배포판으로 꼽힙니다.
Linux Mint 주요 사양
- 운영체제: Linux
- 최소 CPU 사양: 64비트 싱글코어
- 최소 RAM 사양: 1.5GB
Linux Mint는 데스크톱과 노트북을 위한 인기 있는 무료 오픈소스 운영체제입니다. 사용자 친화적이고 안정적이며, 설치 즉시 별도 설정 없이 바로 사용할 수 있습니다.