Kimi K3, 모델 가중치와 기술 보고서 공개
중국 Moonshot AI가 Kimi K3의 모델 가중치와 기술 보고서를 함께 공개했습니다. 단순히 모델만 공개한 것이 아니라 모델 가중치, 기술 보고서, 학습 및 추론 코드, 문서까지 함께 제공하면서 오픈 웨이트 AI 모델 생태계 확대에 나섰습니다.
Kimi K3는 2.8조(2.8T) 매개변수를 갖춘 오픈 웨이트 네이티브 멀티모달 에이전트 모델입니다. 네이티브 비전 기능과 최대 100만 토큰(Context Window)을 지원하며, 장시간 추론과 대규모 코드 작업, 지식 기반 업무를 수행할 수 있도록 설계되었습니다.
이번 공개를 통해 Kimi K3의 아키텍처와 라이선스 정책, 주요 기술, 활용 사례를 함께 살펴보겠습니다.
Kimi K3의 주요 특징
Kimi K3는 다음과 같은 특징을 제공합니다.
- 2.8T(2.8조) 파라미터 기반 오픈 웨이트 모델
- 네이티브 비전(Vision) 기능 지원
- 최대 100만 토큰 Context Window 지원
- 네이티브 멀티모달 에이전트 모델
- 장시간 코드 생성 및 추론 작업 지원
- 지식 업무(Knowledge Work)와 연구 업무를 위한 설계
Moonshot AI는 Kimi K3를 오픈 모델 가운데 최초의 3T 클래스 모델이라고 소개하며, 장시간 코딩, 추론, 연구 업무를 위한 모델로 설계했다고 설명했습니다.
라이선스 정책
Kimi K3는 비교적 자유로운 라이선스를 제공합니다.
다음 항목은 별도 제한 없이 사용할 수 있습니다.
- 소프트웨어 사용
- 복사
- 수정
- 병합
- 게시
- 배포
- 서브라이선스 부여
- 판매
- 실행
- 파인튜닝
- 파생 모델 제작
또한 무료 및 상업적 이용도 가능합니다.
다만 아래 조건에 해당하는 경우에는 Moonshot AI와 별도의 계약이 필요합니다.
- 총 매출이 2,000만 달러(USD)를 초과하면서 MaaS(Model as a Service) 사업을 운영하는 경우
- 소프트웨어 또는 파생 모델을 상업적으로 활용하기 전 별도 계약 체결 필요
추가로 다음 조건 가운데 하나를 만족하면 사용자 인터페이스(UI)에 "Kimi K3" 명칭을 눈에 띄게 표시해야 합니다.
- 월간 활성 사용자(MAU) 1억 명 초과
- 월 매출 2,000만 달러(USD) 초과
Kimi K3 아키텍처
Kimi K3는 기존 모델 대비 정보 전달 효율을 높이기 위해 새로운 구조를 적용했습니다.
대표적인 기술은 다음과 같습니다.
Kimi Delta Attention(KDA)
긴 시퀀스에서도 정보 흐름을 개선하기 위해 설계된 Attention 구조입니다.
Attention Residuals(AttnRes)
모델 깊이가 깊어질수록 발생할 수 있는 정보 손실을 줄이기 위한 구조입니다.
Stable LatentMoE
Mixture of Experts(MoE)를 기반으로 896개의 Expert 가운데 16개만 활성화하는 구조를 적용했습니다.
Moonshot AI는 이러한 구조 개선과 학습 방식 최적화를 통해 이전 Kimi K2 대비 약 2.5배의 스케일링 효율 향상을 달성했다고 설명합니다.
코딩 성능
Kimi K3는 장시간 코딩 작업을 수행하도록 설계되었습니다.
주요 특징은 다음과 같습니다.
- 대규모 저장소(Repository) 탐색
- 장시간 엔지니어링 작업 수행
- 터미널 도구 활용
- 화면(Screen Shot) 기반 시각적 추론
- 게임 개발
- 프론트엔드 개발
- CAD 작업 지원
GPU 커널 최적화 테스트에서는 동일한 환경에서 최대 24시간 동안 반복적인 최적화를 수행했으며, AttnRes와 KDA 등 다양한 GPU 커널 최적화 작업을 수행했다고 소개했습니다.
또한 MiniTriton이라는 Triton 스타일 GPU 컴파일러를 자체적으로 구현하여 컴파일러 개발 능력도 사례로 제시했습니다.
게임 개발 및 디지털 콘텐츠 제작
Kimi K3는 비전 기능과 코딩 능력을 함께 활용해 인터랙티브 콘텐츠를 생성할 수 있습니다.
대표 사례로는 Three.js WebGPU 기반의 브라우저 3D 오픈월드 게임을 생성했습니다.
해당 사례에서는
- 절차적 환경 생성
- 숲과 마을 구성
- 설산 표현
- 동적 날씨 구현
- 3D 에셋 활용
등을 포함한 게임 환경을 구축했다고 소개했습니다.
칩 설계
Kimi K3는 자체 아키텍처 기반의 Nano 모델용 칩 설계 사례도 공개했습니다.
48시간 동안 자율적으로 설계와 최적화, 검증을 수행했으며 오픈소스 EDA 도구와 Nangate 45nm 라이브러리를 사용했다고 설명합니다.
연구 업무 지원
Kimi K3는 연구 논문 분석부터 코드 구현까지 이어지는 연구 업무도 지원합니다.
공개된 사례에서는 계산 천체물리학의 I-Love-Q 관계를 재현하기 위해
- 20편 이상의 논문 검토
- 수치 계산 구현
- 300개 이상의 상태방정식 평가
- 3,000줄 이상의 Python 코드 생성
- HTML 대시보드 생성
등의 작업을 수행했다고 소개했습니다.
Knowledge Work 기능
Kimi K3는 연구와 컨설팅 등 지식 기반 업무도 지원합니다.
공개된 사례에는 다음과 같은 작업이 포함됩니다.
- AI ASIC 산업 42년 분석
- 금융 컨설팅 형태의 산업 보고서 작성
- 중력파 데이터 분석
- 인터랙티브 시각화 생성
- 발표 자료 제작
또한 증거 자료를 기반으로 차트와 다이어그램, 대시보드 형태의 결과물을 생성할 수 있도록 설계되었습니다.
Widgets와 Dashboard
Kimi Work에는 두 가지 기능이 추가되었습니다.
Widgets
채팅 안에서 인터랙티브 컴포넌트를 생성하고 로컬 데이터 또는 외부 플러그인과 연동하여 지속적으로 데이터를 업데이트할 수 있습니다.
Dashboard
생성한 Widget을 프로젝트나 목표별로 모아 하나의 화면에서 지속적으로 관리할 수 있는 기능입니다.
Kimi K3는 2.8조 파라미터를 기반으로 하는 오픈 웨이트 멀티모달 AI 모델로, 모델 가중치와 기술 보고서, 학습 및 추론 코드까지 함께 공개됐다는 점이 가장 큰 특징입니다.
또한 Kimi Delta Attention(KDA), Attention Residuals, Stable LatentMoE와 같은 새로운 구조를 적용해 모델 효율을 높였으며, 장시간 코딩, 연구 업무, 시각 기반 추론, 인터랙티브 콘텐츠 생성 등 다양한 활용 사례를 함께 제시했습니다.
오픈 웨이트 모델의 활용 범위를 넓히려는 Moonshot AI의 이번 공개는 연구자와 개발자 모두에게 참고할 수 있는 사례가 될 것으로 보입니다.
https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf
Kimi-K3/k3_tech_report.pdf at main · MoonshotAI/Kimi-K3
Open Frontier Intelligence. Contribute to MoonshotAI/Kimi-K3 development by creating an account on GitHub.
github.com
'인공지능' 카테고리의 다른 글
| 카카오 온디바이스 AI '카나나-2' 경량 모델 4종 오픈소스 공개, 한국어 특화 SLM의 경쟁력은? (0) | 2026.07.28 |
|---|---|
| Kimi K3 공개 분석: 2.8조 매개변수 기반 오픈 멀티모달 AI 모델의 구조와 성능 (0) | 2026.07.28 |
| Claude Record a Skill: 화면 녹화로 Claude에게 워크플로우를 가르치는 방법 (0) | 2026.07.28 |
| Cerebras 사내 지식 베이스 구축 전략: 기존 업무 환경을 유지하면서 AI 검색 시스템을 만든 방법 (0) | 2026.07.28 |
| omp, Pi를 IDE 수준으로 확장한 터미널 AI 코딩 에이전트의 특징과 활용 (0) | 2026.07.28 |
