70B가 109B를 이겼다고? 새로운 오픈소스 LLM ‘Cogito’가 주목받는 이유

인공지능

70B가 109B를 이겼다고? 새로운 오픈소스 LLM ‘Cogito’가 주목받는 이유

파파누보 2025. 4. 11. 01:14

728x90

🧩 오픈소스 LLM의 판도를 바꾼 새로운 접근법

요즘처럼 수많은 대형 언어 모델이 쏟아지는 시대에, 새로운 모델 하나 발표됐다고 해서 다들 놀라진 않죠. 하지만 이번엔 다릅니다.
‘Cogito’라는 이름의 새로운 오픈소스 LLM은 70B 모델로, Llama 4의 109B 모델을 성능에서 앞질렀습니다. 단순히 파라미터 수를 줄이면서도 더 뛰어난 결과를 냈다는 것은, 기존의 ‘크기가 곧 성능’이라는 인식을 뒤엎는 사건입니다.

이 모델은 단순한 기술적 성능뿐 아니라, AGI(Artificial General Intelligence, 범용 인공지능)로 가는 방향성을 열어줄 가능성까지 제시하고 있습니다. 그 핵심에는 IDA(Iterated Distillation and Amplification)라는 새로운 학습 전략이 있죠.

이 글에서는 Cogito 모델이 왜 주목할 만한지, IDA가 기존 방법과 무엇이 다른지, 그리고 이 모델을 어떻게 활용할 수 있는지 자세히 풀어보겠습니다.

⚙️ Cogito 모델이란? — 작지만 강한 오픈소스 LLM

Cogito는 오픈 라이선스 하에 공개된 대형 언어 모델 시리즈로, 크기별로 3B, 8B, 14B, 32B, 70B 모델이 함께 발표되었습니다. 각 모델은 동일 크기의 기존 오픈소스 모델(LLaMA, DeepSeek, Qwen 등)을 대부분의 기준 벤치마크에서 능가하며, 특히 70B 모델은 Llama 4 109B 모델보다도 우수한 성능을 보였습니다.

Cogito 모델의 주요 특징:

이중 동작 모드 지원: 일반적인 응답 모드(Standard)와, 자가 반성 후 응답하는 Reasoning 모드 선택 가능
코딩, 함수 호출, 에이전트 구축에 최적화
실제 사용 성능과 효율성 모두 향상
Huggingface, Ollama에서 다운로드 가능 / Fireworks AI, Together AI를 통해 API 사용 가능

이처럼 Cogito는 단순한 언어 모델이 아니라, 실전 활용을 고려한 설계와 기능성을 함께 갖춘 모델입니다.

🔁 IDA: Cogito의 비밀 무기, 반복 증류와 증폭 전략

Cogito가 특별한 이유는 모델 자체보다도, 그 학습 방식에 있습니다. 바로 **IDA(Iterated Distillation and Amplification)**입니다.

기존 학습 방식의 한계

일반적으로 작은 모델은 더 큰 모델에서 지식을 '증류(distillation)' 받습니다. 하지만 이렇게 되면 결국 큰 모델의 한계를 그대로 물려받게 되죠. 더 큰 문제는, 가장 큰 모델조차도 인간 감독자의 한계를 넘지 못한다는 점입니다. 결국 인간 수준을 넘어서는 AGI를 만들 수 없다는 얘기죠.

IDA 방식의 작동 원리

IDA는 이 구조를 깨는 방식입니다.

Amplification (증폭)
더 많은 연산을 사용해 더 뛰어난 사고(추론)를 수행합니다. 기존 모델보다 더 똑똑하게 생각하게 만들죠.
Distillation (증류)
이 고급 사고 과정을 모델 파라미터에 반영하여 학습합니다. 즉, '생각하는 과정' 자체를 모델 내부로 흡수시키는 것이죠.

이 과정을 반복하면서 모델은 스스로의 사고력을 점점 키워갑니다. 마치 똑똑한 사람이 더 똑똑한 사고법을 익히고 반복하는 것처럼, Cogito는 자기 자신을 계속 개선합니다.

왜 IDA가 중요한가?

감독자의 한계를 넘는 구조
더는 인간이 만든 데이터를 따라 배울 필요가 없습니다.
효율적이고 확장 가능
RLHF보다 빠르고, 대규모 학습이 필요 없다는 점에서 현실적입니다.
자가 개선 루프
반복 학습을 통해 지속적인 능력 향상이 가능해집니다.

📊 성능 비교: Llama 4보다 더 똑똑한 70B?

Cogito 70B 모델은 단순히 ‘작은 모델 중 제일 잘함’ 수준이 아닙니다.
Llama 4의 109B 모델보다도 높은 벤치마크 점수를 기록했습니다. 아래는 주요 비교 포인트입니다:

모델	파라미터 수	학습 방식	벤치마크 성능
Llama 4 Scout	109B	Llama 4 Behemoth 2T distillation	중상
Cogito 70B	70B	IDA 방식 학습	상 (더 우수)

벤치마크 외에도 실제 코드 생성, 함수 호출 등의 실사용 사례에서 높은 성능을 보여주며, reasoning 모드에서도 다양한 분야에 높은 적용성을 보이고 있습니다.

🧪 어떻게 활용할 수 있을까? — 개발자와 연구자를 위한 실전 가이드

Cogito 모델은 실제 사용성을 염두에 두고 설계된 모델입니다. 단순한 챗봇용이 아닌, 다음과 같은 고급 활용이 가능합니다.

활용 예시:

코드 자동 생성
- TypeScript나 Python 함수 자동 완성
- 함수 정의 → 테스트 코드 자동 생성
도구 호출 (Tool Calling)
- 플러그인 기반 에이전트 구축
- API 호출 자동화
Reasoning 모드 사용 예
사용자가 "A와 B의 차이점은?"이라고 물었을 때, 단순 응답이 아닌 내부적으로 ‘자기 사고’를 한 후에 더 깊이 있는 답변 제공