도커(Docker)로 AI 모델을 돌린다고? - Docker Model Runner와 MCP Catalog/Toolkit 완벽 정리

 

https://www.youtube.com/watch?v=zQi-8mCTNf8

AI 모델을 로컬 환경에서 손쉽게 테스트하고, 다양한 AI 도구를 Docker Hub에서 바로 검색하고 실행할 수 있다면 어떨까요?
Docker가 2025년 4월, Model Runner와 MCP Catalog/Toolkit을 발표하면서 이런 미래를 앞당겼습니다.

이제 복잡한 설정 없이도, 마치 컨테이너를 돌리듯 간단하게 대규모 언어 모델(LLM)을 실행할 수 있고, 수백 개의 AI 서버와 도구를 클릭 몇 번으로 사용할 수 있게 된 것입니다.
이 글에서는 Docker Model Runner와 MCP Catalog/Toolkit이 무엇인지, 각각 어떤 기능과 특징을 갖고 있는지, 그리고 실제로 어떻게 활용할 수 있는지 구체적으로 살펴보겠습니다.

반응형

---

Docker Model Runner란?

로컬에서 LLM 모델을 실행하는 가장 쉬운 방법

Model Runner는 로컬 환경에서 대규모 언어 모델(LLM)을 아주 간단하게 실행하고 테스트할 수 있도록 만들어진 기능입니다.
Docker Desktop 4.40 이상 버전부터 베타로 제공되며, 별도의 복잡한 설정 없이 사용할 수 있습니다.

주요 특징

• 내장 추론 엔진
  llama.cpp 기반의 추론 엔진이 Docker에 기본 포함돼 있어, OpenAI API와 호환되는 방식으로 바로 사용할 수 있습니다.
  ➔ 복잡한 세팅 없이 바로 API를 호출할 수 있다는 점이 큰 장점입니다.
• 표준 OCI Artifact 패키징
  모델 파일이 표준 OCI(컨테이너 이미지) 형식으로 포장되어 관리됩니다.
  ➔ 기존 Docker Hub, 사내 레지스트리 같은 인프라를 그대로 활용할 수 있습니다.
• 하드웨어 가속 지원
  Apple Silicon(M1, M2) 환경에서 GPU 가속을 지원합니다.
  ➔ 추론 속도가 빠르며, 향후 Windows GPU 지원도 예정되어 있습니다.

설치 및 실행 방법

설치부터 실행까지 3단계면 충분합니다:

1. Docker Desktop 4.40 이상 설치
   최신 버전으로 업데이트합니다.
2. 모델 이미지 가져오기 (Pull)
   예를 들어, Llama 2 7B 모델을 가져오려면:
3. docker pull mcp/llama2-7b
4. 로컬 API 서버 실행
   가져온 모델 이미지를 실행합니다:이후 http://localhost:8080/v1/chat/completions 에 OpenAI API 방식으로 요청을 보내면 로컬 LLM 서버와 바로 통신할 수 있습니다.
5. docker run -p 8080:8080 mcp/llama2-7b

---

MCP Catalog & Toolkit이란?

Docker Hub에서 AI 도구를 검색하고 바로 실행하는 방법

Docker는 4.40 버전부터 MCP Catalog와 Toolkit을 통해, 다양한 AI 도구 서버를 검색하고 실행하는 과정을 놀라울 만큼 쉽게 만들었습니다.

MCP Catalog 구성

• MCP Catalog
  Docker Hub 내 mcp/ 네임스페이스를 통해 100개 이상의 검증된 MCP 서버 목록을 제공합니다.
  ➔ Redis, Postgres처럼 AI 도구도 클릭 한 번으로 띄울 수 있습니다.
• MCP Toolkit
  docker mcp 명령어를 통해 서버 검색, 실행, 환경 변수 주입, 모니터링을 간편하게 수행할 수 있도록 지원합니다.
  ➔ 인증 및 비밀 관리가 쉬워지고, 개발자가 직접 명령어로 제어할 수 있습니다.

보안 및 거버넌스

• MCP 서버는 컨테이너 내에서 격리되어 실행됩니다.
  ➔ 호스트 파일 접근 등 보안 위험을 크게 줄일 수 있습니다.
• Docker Scout로 이미지 취약점 스캔, IAM 정책 연동 등 보안 및 기업 거버넌스 요건을 만족할 수 있습니다.

---

개발자 관점에서 추천하는 워크플로우

Docker가 제시하는 새로운 AI 개발 워크플로우는 이렇게 구성할 수 있습니다:

1. 모델 실험
   Model Runner로 Llama 2, Gemma 3 등을 로컬에서 쉽게 파인튜닝 및 테스트
2. AI 도구 설계 및 개발
   docker init mcp-server 명령어를 통해 TypeScript/Python 기반 MCP 서버 프로젝트 빠르게 생성
3. 통합 테스트
   docker ai CLI나 Claude 앱 등을 활용해 프롬프트 기반 E2E 시나리오 테스트
4. 배포 및 등록
   완성된 모델과 MCP 서버를 Registry나 Docker Hub에 푸시해 공유 및 운영

---

728x90

Docker가 바꿀 AI 개발 환경의 미래

Docker Model Runner와 MCP Catalog/Toolkit은 AI 개발 과정을 훨씬 더 친숙하고, 빠르고, 표준화된 방식으로 바꿔줄 것입니다.
개발자는 더 이상 복잡한 인프라 설정에 시간을 허비하지 않고, 모델과 도구 자체에 집중할 수 있게 됩니다.

이제 AI 모델도, AI 도구도 "컨테이너처럼" 쉽게 다루는 시대가 열렸습니다.
앞으로 Docker를 통한 로컬 기반 Agentic 애플리케이션 개발은 더 폭발적으로 성장할 것입니다.
한발 앞서 이 흐름을 익혀두는 것이 중요한 이유입니다.

https://docs.docker.com/desktop/features/model-runner/

Docker Model Runner