Windows 11에서 로컬 AI 모델을 실행하기 위해 Ollama를 설치하는 방법

• Windows 11에 Ollama를 설치하려면 관리자 권한으로 명령 프롬프트를 열고 다음 winget install --id Ollama.Ollama명령을 실행하십시오.
• 설치가 완료되면 ollama pull 명령어를 사용하여 Gemma, LLaMA, DeepSeek과 같은 LLM을 로컬에서 다운로드하고 실행하세요.
• 또는 Ollama 앱을 실행하여 원하는 모델을 설치하고 실행할 수도 있습니다.
• Ollama는 클라우드와 독립적으로 작동하며 명령줄 인터페이스 또는 사용자 지정 인터페이스를 통해 모델 실행을 지원합니다.

2025년 8월 21일 업데이트: Windows 11 에서는 Ollama를 설치하여 여러 AI 모델을 컴퓨터에 로컬로 다운로드하고 실행할 수 있습니다. 이 가이드에서는 이러한 구성을 완료하는 단계를 설명합니다.

윈도우 11에는 코파일럿+ PC와 같은 특정 하드웨어용 AI 모델이 많이 내장되어 있지만, 이러한 모델은 일반적으로 규모가 작고 특수화된 모델입니다. 따라서 AI 대규모 언어 모델(LLM)과 상호 작용하는 주요 방법은 마이크로소프트 코파일럿, 오픈아이얼 챗GPT , 구글 제미니 등과 같은 온라인 챗봇을 이용하는 것입니다.

이러한 LLM을 사용할 때 주의할 점은 모든 요청을 클라우드에서 처리한다는 것인데, 이는 모든 사람이 원하는 방식은 아닙니다. 바로 이 점에서 Ollama가 유용한 도구가 됩니다.

Ollama는 Windows 11, 10 또는 기타 지원되는 운영 체제를 실행하는 로컬 컴퓨터에서 명령줄 환경이나 그래픽 인터페이스를 사용하여 대규모 언어 모델을 직접 실행할 수 있는 오픈 소스 도구 입니다 . 개인 사용자, 개발자 및 연구자가 이러한 AI 모델을 다운로드, 실행 및 관리하는 과정을 간소화하도록 설계되었습니다.

이 가이드 에서는 컴퓨터에서 LLM을 로컬로 실행하는 가장 쉬운 도구 중 하나를 설정하는 단계를 설명합니다.

• Windows 11에 Ollama를 설치하여 AI 모델을 로컬에서 실행하세요.
• Windows 11에서 Ollama를 사용하여 AI LLM을 설치하고 실행하는 방법(CLI 방식)
• Windows 11에서 Ollama를 사용하여 AI LLM을 설치하고 실행하는 방법(GUI 방식)

Windows 11에 Ollama를 설치하여 AI 모델을 로컬에서 실행하세요.

Windows 11에 Ollama를 로컬로 설치하려면 다음 단계를 따르세요.

1. Windows 11에서 시작 메뉴를 엽니다 .

    

    

2. 명령 프롬프트 (또는 터미널 ) 를 검색하고 , 검색 결과 맨 위에 있는 항목을 마우스 오른쪽 버튼으로 클릭한 다음, 관리자 권한으로 실행을 선택하세요.

3. (옵션 1) 공식 Ollama 도구를 설치하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   Winget install --id Ollama.Ollama

   

4. 완료 버튼을 클릭하세요 .

5. (옵션 2) Windows 11에서 Ollama를 제거하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   Winget 제거--id Ollama.Ollama

   팁: Ollama를 제거하기 전에 컴퓨터에서 모든 AI 모델을 제거하는 것이 좋습니다.

위 단계를 완료하면 Ollama가 백그라운드에서 실행되고, ollama 명령 프롬프트 또는 PowerShell을 통해 명령줄에서 Ollama와 상호 작용할 수 있습니다.

Windows 패키지 관리자(winget)를 사용하여 이 도구를 설치하는 것 외에도 , Ollama 설치 프로그램은 공식 웹사이트 또는 이 GitHub 페이지 에서 다운로드할 수 있습니다 . 

Windows 11에서 Ollama를 사용하여 AI LLM을 설치하고 실행하세요.

설치를 시작하기 전에 Ollama 라이브러리 페이지를 열어 설치할 AI 모델을 선택하세요.

해당 페이지에서는 DeepSeek , Google(gemma), Meta(llama) 등에서 제공하는 모델 목록을 확인할 수 있습니다 .

각 모델에는 1b, 4b, 12b 등과 같은 표기가 있는데, 이는 매개변수의 개수를 수십억 단위로 나타낸 것입니다. 매개변수 개수가 많을수록 모델의 규모가 커지고 잠재적으로 더 뛰어난 성능을 발휘할 수 있습니다. 하지만 그만큼 더 강력한 하드웨어가 필요합니다.

처음 사용하시는 분이라면 가장 작은 버전(예: "1b")을 다운로드하시는 것이 좋습니다.

Windows 11에서 Ollama를 사용하여 AI 모델을 설치하려면 다음 단계를 따르세요.

1. 시작 버튼을 여세요 .

2. 명령 프롬프트 (또는 터미널 ) 를 검색하고 , 검색 결과 맨 위에 있는 항목을 마우스 오른쪽 버튼으로 클릭한 다음, 관리자 권한으로 실행을 선택하세요.

3. (선택 사항) Ollama 버전을 확인하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   올라마 --버전

   

4. (선택 사항) Ollama가 실행 중인지 확인하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   curl http://localhost:11434

5. (옵션 1) 다음 명령어를 입력하고 Enter 키 를 눌러 AI 모델을 컴퓨터에 로컬로 설치 및 실행하세요 .

   올라마 풀 젬마3:1b

   

   참고: 이 명령은 10억 개의 매개변수를 포함하는 Google Gemma 버전 3을 다운로드합니다. 명령에서 gemma3:1b 모델 이름과 버전을 설치하려는 모델명 및 버전으로 업데이트하세요(예: deepseek-r1:1.5b).

6. (선택 사항) 설치된 모델을 보려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   올라마 리스트

7. (옵션 2) 컴퓨터에서 AI 모델을 제거하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   올라마 rm 젬마3:1b

8. 모델이 더 이상 컴퓨터에 없는지 확인하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

   올라마 리스트

9. Ollama를 사용하여 설치한 AI 모델을 실행하려면 다음 명령어를 입력하고 Enter 키를 누르세요 .

   올라마 런 젬마3:1b

   

   명령어에서 Ollama와 함께 사용할 모델을 확인하십시오.

10. (선택 사항) Ollama의 실행 중인 모든 프로세스를 표시하려면 다음 명령어를 입력하고 Enter 키를 누르십시오 .

    올라마 ps

11. (선택 사항) 특정 모델의 구성 및 매개변수와 같은 세부 정보를 표시하려면 이 명령을 입력하고 Enter 키를 누르십시오 .

    올라마 쇼 젬마3:1b

    

    명령어에서 Ollama와 함께 사용할 모델을 확인하십시오.

위 단계를 모두 완료하면 명령줄 인터페이스를 통해 LLM을 사용할 수 있습니다.

ollama --help또한 해당 명령어를 사용하여 다른 사용 가능한 명령어를 볼 수 있으며, ollama run --help특정 모델에서 사용 가능한 명령어 목록을 보려면 해당 명령어를 사용할 수 있습니다 .

Windows 11에서 Ollama를 사용하여 AI LLM을 설치하고 실행하는 방법(GUI 방식)

Windows 11에서 Ollama GUI 애플리케이션을 사용하여 AI 모델을 설치하려면 다음 단계를 따르세요.

1. 설치 후 Ollama 앱이 자동으로 실행되지 않으면 시작 메뉴에서 앱을 실행하세요 .

2. AI 모델 메뉴를 클릭하고 다운로드할 모델을 선택하세요. 예를 들어, "GPT-OSS:20b" 옵션을 선택하면 됩니다.

   

3. 질문을 작성하여 제출하면 OpenAI GPT 모델 다운로드가 시작됩니다.

   

위 단계를 모두 완료하면 그래픽 사용자 인터페이스를 통해 AI 모델이 컴퓨터로 다운로드됩니다.

Ollama 계정이 있는 경우 로그인하여 내장된 웹 검색 기능을 활용해 모델의 기능과 온라인에서 이용 가능한 최신 정보를 결합할 수 있습니다.

Turbo 옵션은 Ollama에서 제공 하는 클라우드 기반 서비스로, 데이터센터급 하드웨어를 사용하여 대규모 AI 모델을 실행합니다. 이 서비스는 로컬 컴퓨터에서 실행하기에는 너무 크거나 속도가 느린 모델에 고성능과 빠른 속도를 제공하도록 설계되었습니다. 월 구독료는 20달러입니다.

Ollama 앱은 사용 가능한 AI 모델을 미리 다운로드하는 옵션을 제공하지 않습니다. 하지만 위에서 설명한 대로 명령줄 도구를 사용하여 이 작업을 완료할 수 있습니다.

Windows 11용 Ollama 관련 FAQ

Ollama에 대해 궁금한 점이 있으시면 아래 FAQ를 통해 다양한 측면을 명확히 이해하실 수 있습니다. 궁금한 점이 있으면 아래 댓글에 질문을 남겨주세요.

Ollama를 실행하려면 특정 AI 하드웨어가 필요한가요?

아니요, Ollama를 사용하여 얻은 기본 AI 모델은 비교적 최신 하드웨어에서도 실행할 수 있으며, 신경 처리 장치(NPU)가 반드시 필요한 것은 아닙니다. Ollama는 프로세서에서 직접 실행될 수도 있지만, 그래픽 카드를 사용하는 것이 좋습니다.

하지만 각 AI 모델의 매개변수에 따라 필요한 하드웨어 사양이 다릅니다. 예를 들어, gpt-oss-20b 모델은 일반적인 최신 하드웨어로도 실행할 수 있지만, gpt-oss-120b 모델을 사용하려면 최소 80GB VRAM을 갖춘 NVIDIA GPU, 서버급 프로세서(예: AMD EPYC 또는 Intel Xeon), 최소 256GB 메모리, 그리고 모델 가중치 및 임시 파일 저장을 위해 최소 500GB의 여유 공간이 있는 고속 NVMe SSD와 같은 고성능 하드웨어가 필요합니다.

Windows 11에서 Ollama를 사용하기 위한 시스템 요구 사항은 무엇입니까?

Windows 11 또는 10에 Ollama를 설치하기 위한 시스템 요구 사항은 중간 수준입니다.

• 프로세서: 인텔 또는 AMD x86-64.
• 메모리: 8GB 이상, 16GB 이상을 권장합니다.
• 저장 공간: 10GB의 여유 공간.
• 그래픽: 내장형 또는 전용 GPU.

요구 사양이 아주 높지는 않지만, 최신 멀티코어 프로세서, 최소 32GB의 RAM, 256GB 이상의 SSD 여유 공간(NVMe 권장), 그리고 엔비디아 RTX 30xx 시리즈와 같은 그래픽 카드를 권장합니다. 하지만 동등한 성능의 AMD 라데온 GPU를 사용하셔도 무방합니다.

또한 고급 모델의 경우 최소 4GB의 VRAM을 권장합니다.

모델이 클수록 더 많은 리소스가 필요하며, 이는 기계에 더욱 강력한 하드웨어가 필요하다는 것을 의미합니다.

Ollama는 윈도우 11에서 실행될 때 가상화 기술을 사용하나요?

아니요, Ollama는 자체적으로 가상 머신을 생성하지 않습니다. 하지만 LLM을 실행하기 위한 격리된 환경을 시스템에 생성합니다. 이 환경에는 모델 가중치(사전 학습된 데이터) 및 구성 파일과 같은 필요한 모든 구성 요소가 포함됩니다.

Ollama는 더 이상 WSL2를 필요로 하지 않는다는 점을 유의해야 합니다 . 최신 버전의 Windows 11 또는 10에서 기본적으로 실행됩니다.

2025년 8월 21일 업데이트: 본 안내서는 정확성을 보장하고 절차 변경 사항을 반영하기 위해 업데이트되었습니다.