노타, 문샷AI ‘키미 K3’ 경량화…B300 GPU 최대 50% 줄인 비균일 전문가 프루닝 기술

초거대 AI 모델의 성능이 높아질수록 이를 실제 환경에서 구동하기 위한 연산 인프라 부담도 커지고 있습니다. 특히 문샷AI의 ‘키미 K3(Kimi K3)’는 2조8,000억 개의 매개변수를 갖춘 프론티어급 AI 모델로, 높은 성능만큼 엔비디아 B300 GPU 8장이 필요하다는 점이 활용 과정의 부담으로 작용했습니다.

이런 상황에서 AI 모델 경량화 및 최적화 기술 기업 노타가 키미 K3의 전문가 모듈을 줄이면서도 주요 성능을 유지하는 경량화 모델을 공개했습니다. 핵심은 단순히 모델 전체를 같은 비율로 줄이는 것이 아니라, 모델의 층별 특성과 모듈의 중요도를 분석해 필요한 부분은 보존하고 기여도가 낮은 전문가 모듈을 선별적으로 제거하는 방식입니다.

이번 경량화를 통해 키미 K3의 전문가 모듈을 25%, 50% 줄인 두 가지 모델이 공개됐으며, 구동에 필요한 B300 GPU 역시 기존 8장에서 각각 6장과 4장으로 감소했습니다.

이번 사례는 대규모 AI 모델을 실제 기업과 개발 환경에서 활용하기 위해 단순한 모델 성능뿐 아니라 ‘얼마나 적은 연산 자원으로 같은 수준의 성능을 유지할 수 있는가’가 중요한 기술 과제가 되고 있음을 보여줍니다.

반응형

키미 K3, 왜 경량화가 필요했을까

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(Mixture-of-Experts, MoE) 구조를 채택한 프론티어급 오픈웨이트 AI 모델입니다.

MoE 구조는 모든 모듈을 항상 사용하는 것이 아니라 입력에 따라 필요한 전문가 모듈을 선택적으로 활성화해 연산 효율을 높이는 방식입니다. 하지만 키미 K3처럼 모델 자체의 규모가 매우 큰 경우에는 실제 모델을 구동하기 위해 상당한 GPU 인프라가 필요합니다.

기사에 따르면 키미 K3를 구동하려면 엔비디아의 최신 고성능 GPU인 B300 8장이 필요했습니다.

모델 성능이 아무리 뛰어나더라도 이를 구동하기 위해 많은 GPU가 필요하다면 기업이나 개발자가 실제 서비스와 개발 환경에 활용하는 데 부담이 생길 수 있습니다.

결국 프론티어급 AI 모델의 활용도를 높이려면 모델의 핵심 성능을 최대한 유지하면서 크기와 연산량, 그리고 필요한 인프라를 줄이는 경량화 기술이 중요합니다.

일반적인 양자화만으로는 추가 경량화에 한계

AI 모델을 경량화하는 대표적인 방식 중 하나가 양자화입니다.

양자화는 모델에서 사용하는 숫자의 정밀도를 낮춰 모델의 크기와 연산량을 줄이는 방식입니다. 정밀도를 낮추면 필요한 저장 공간과 연산 부담을 줄이는 데 도움이 됩니다.

하지만 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계됐습니다.

이미 모델 자체가 낮은 정밀도를 활용하도록 설계돼 있기 때문에 일반적인 양자화만으로는 추가로 압축할 수 있는 범위가 제한적이었습니다.

따라서 이번 경량화의 핵심은 숫자의 정밀도를 더 낮추는 방식이 아니라, 모델 내부에서 실제로 어떤 전문가 모듈이 중요한지를 분석하고 필요성이 낮은 모듈을 줄이는 데 있었습니다.

핵심 기술은 ‘비균일 전문가 프루닝’

노타가 키미 K3 경량화에 적용한 기술은 자체 개발한 ‘비균일 전문가 프루닝(Non-uniform Expert Pruning)’입니다.

프루닝(Pruning)은 말 그대로 모델에서 불필요하거나 기여도가 낮은 부분을 제거해 모델을 가볍게 만드는 접근입니다.

이번 기술의 특징은 모든 부분을 동일한 비율로 제거하지 않는다는 점입니다.

노타는 모델의 층별 특성과 모듈의 중요도를 분석한 뒤 핵심적인 역할을 하는 전문가는 보존하고, 기여도가 낮은 모듈을 선별적으로 제거했습니다.

이를 쉽게 표현하면 모든 나무의 가지를 같은 길이로 자르는 것이 아니라, 나무마다 성장 상태를 살펴 필요한 가지는 남기고 불필요한 가지를 더 많이 정리하는 방식에 가깝습니다.

기존 방식과 무엇이 다른가

기존의 방식에서는 모델의 각 층에서 전문가 모듈을 동일한 비율로 제거하는 접근이 사용됐습니다.

반면 노타의 비균일 전문가 프루닝은 층마다 제거 비율을 다르게 적용합니다.

즉, 모델 전체를 일률적으로 축소하는 것이 아니라 각 층에서 어떤 모듈이 성능에 더 중요한지 살펴본 후 경량화 수준을 조정합니다.

이 방식의 목표는 모델의 크기를 줄이면서도 성능 저하를 최소화하는 것입니다.

키미 K3 전문가 모듈 25%, 50% 경량화

노타는 비균일 전문가 프루닝 기술을 적용해 키미 K3의 전문가 모듈을 각각 25%, 50% 줄인 두 가지 경량화 모델을 공개했습니다.

그 결과 모델 구동에 필요한 엔비디아 B300 GPU 수도 함께 감소했습니다.

구분	기존 키미 K3	25% 경량화 모델	50% 경량화 모델
전문가 모듈	기존 모델	25% 감소	50% 감소
필요 B300 GPU	8장	6장	4장

특히 주목할 부분은 전문가 모듈을 50% 줄인 모델에서 GPU 수 역시 기존 8장에서 4장으로 감소했다는 점입니다.

즉, 기사에서 공개한 결과를 기준으로 보면 기존 모델 구동에 필요한 GPU 수의 절반만으로 경량화 모델을 구동할 수 있도록 한 것입니다.

이는 단순히 모델 크기를 줄이는 데 그치지 않고, 대규모 AI 모델을 운영하는 데 필요한 연산 인프라 활용도를 높일 수 있다는 점에서 의미가 있습니다.

경량화에서 중요한 것은 ‘얼마나 줄였는가’보다 ‘성능을 얼마나 지켰는가’

AI 모델을 크게 줄이는 것만으로는 충분하지 않습니다.

모델을 가볍게 만드는 과정에서 성능까지 크게 떨어진다면 실제 활용 가치가 낮아질 수 있기 때문입니다.

이번 키미 K3 경량화에서도 중요한 평가 기준은 전문가 모듈을 얼마나 제거했느냐와 함께 기존 모델의 성능을 얼마나 유지했느냐였습니다.

노타가 자체 평가한 결과, 층별 전문가를 동일한 비율로 제거하는 REAP(Router-weighted Expert Activation Pruning) 방식과 비교했을 때 층별 제거 비율을 다르게 적용한 노타의 50% 경량화 모델이 대다수 벤치마크에서 더 높은 보존율을 기록했습니다.

특히 고난도 과학 및 추론 능력을 평가하는 GPQA-Diamond와 사용자의 지시를 정확하게 수행하는 능력을 평가하는 IFEval에서는 각각 2.52점, 2.22점 높은 점수를 기록했습니다.

이 결과가 보여주는 핵심은 명확합니다.

모델의 모든 부분을 동일하게 줄이는 것보다 모델 내부의 중요도를 분석해 선택적으로 줄이는 방식이 성능 보존 측면에서 유리할 수 있다는 것입니다.

GPU 8장에서 4장으로 줄인다는 의미

대규모 AI 모델에서 필요한 GPU 수는 단순한 숫자 이상의 의미를 갖습니다.

모델을 운영하기 위해 필요한 GPU가 많아질수록 기업과 개발자가 준비해야 하는 연산 인프라도 커질 수밖에 없습니다.

키미 K3의 경우 기존에는 B300 GPU 8장이 필요했지만, 노타가 공개한 50% 경량화 모델은 4장으로 줄었습니다.

따라서 이번 기술은 대규모 모델을 활용할 때 발생하는 인프라 부담을 낮추는 방향으로 연결될 수 있습니다.

특히 고성능 AI 모델의 활용을 고려하는 기업이나 개발자 입장에서는 모델의 성능뿐 아니라 실제 구동에 필요한 연산 자원까지 함께 고려해야 합니다.

이러한 관점에서 모델 경량화는 단순한 최적화 기술이 아니라 고성능 AI를 실제 환경에 적용하기 위한 중요한 기술 요소라고 볼 수 있습니다.

노타의 경량화 기술 적용 범위도 확대

이번 키미 K3 경량화는 노타가 대규모 MoE 모델에 기술을 적용했다는 점에서도 의미가 있습니다.

노타는 앞서 업스테이지의 ‘솔라 오픈2’ 경량화 모델을 허깅페이스에 공개한 바 있습니다.

해당 모델은 공개 2주 만에 누적 다운로드 6만8,000회를 기록했습니다.

이 같은 사례는 고성능 AI 모델을 더 적은 연산 자원과 비용으로 활용하려는 기업과 개발자의 관심이 높다는 점을 보여줍니다.

이번에는 프론티어급 모델인 키미 K3까지 경량화 범위를 확대하면서 대규모 MoE 모델을 대상으로 한 경량화 기술의 적용 가능성을 보여줬다는 것이 노타 측의 설명입니다.

실제 활용에서 기대되는 점

이번 기술의 가장 큰 기대 효과는 대규모 AI 모델을 보다 적은 연산 자원으로 활용할 수 있다는 점입니다.

기존 키미 K3 구동에 B300 GPU 8장이 필요했다면, 노타의 경량화 모델에서는 25% 경량화 모델이 6장, 50% 경량화 모델이 4장으로 줄었습니다.

이는 기업과 개발자가 초거대 AI 모델을 활용할 때 고려해야 하는 인프라 부담을 낮추는 방향으로 이어질 수 있습니다.

또한 이번 사례에서는 단순히 모델을 축소하는 것이 아니라 모델의 층별 특성과 전문가 모듈의 중요도를 분석해 제거 비율을 다르게 적용했습니다.

따라서 앞으로 대규모 AI 모델의 경량화에서도 ‘일괄적으로 줄이는 방식’보다 ‘모델 구조와 중요도를 분석해 선택적으로 최적화하는 방식’이 중요한 접근법으로 활용될 가능성을 보여줍니다.

728x90

노타가 공개한 키미 K3 경량화 모델은 초거대 AI 모델의 성능을 유지하면서 필요한 연산 인프라를 줄이는 데 초점을 맞췄습니다.

키미 K3는 2조8,000억 개의 매개변수를 갖춘 프론티어급 AI 모델로, 기존 구동에 B300 GPU 8장이 필요했습니다. 노타는 자체 개발한 비균일 전문가 프루닝 기술을 적용해 전문가 모듈을 25%, 50% 줄인 모델을 공개했고, 필요한 B300 GPU를 각각 6장과 4장으로 줄였습니다.

특히 층별로 동일한 비율을 적용하는 대신 모델의 특성과 전문가 모듈의 중요도를 분석해 제거 비율을 다르게 적용했다는 점이 핵심입니다. 자체 평가에서도 50% 경량화 모델이 비교 방식보다 대다수 벤치마크에서 높은 성능 보존율을 기록했으며, GPQA-Diamond와 IFEval에서는 각각 2.52점, 2.22점 높은 결과를 보였습니다.

결국 이번 사례에서 주목할 부분은 단순히 ‘AI 모델을 작게 만들었다’는 데 있지 않습니다. 고성능 AI 모델의 핵심 성능을 최대한 유지하면서 필요한 GPU와 연산 자원을 줄였다는 데 의미가 있습니다.

AI 모델의 규모가 계속 커지는 상황에서는 모델 자체의 성능 경쟁뿐 아니라 제한된 연산 자원 안에서 얼마나 효율적으로 구동할 수 있는지도 중요한 경쟁력이 될 수 있습니다.

노타가 솔라 오픈2에 이어 키미 K3까지 경량화한 만큼, 앞으로 다양한 프론티어급 AI 모델에서 경량화와 연산 효율 최적화 기술이 어떻게 확대될지 주목할 필요가 있습니다.

노타가 공개한 솔라 오픈2와 키미 K3 경량화 모델은 글로벌 AI 플랫폼 허깅페이스에서 확인할 수 있습니다.

300x250