1.96B 파라미터로 128K 컨텍스트를 처리하는 경량 LLM, Youtu-LLM-2B 기술 정리

이 글에서는 Tencent에서 공개한 Youtu-LLM-2B를 중심으로, 모델의 기술적 배경과 구조, 주요 특징, 성능 비교 결과, 그리고 실제 사용 방법까지 정리합니다.
Youtu-LLM은 20억 파라미터 미만의 소형 모델임에도 불구하고 128K 초장문 컨텍스트와 에이전트 작업 수행 능력을 동시에 갖춘 것이 특징입니다. 단순한 경량 LLM이 아니라, 추론과 코딩, STEM, 장문 이해까지 폭넓게 활용 가능한 모델이라는 점에서 어떤 강점이 있는지 살펴봅니다.

반응형

---

Youtu-LLM-2B 개요와 배경

Youtu-LLM은 1.96B 파라미터 규모의 오토리그레시브(Autoregressive) 언어 모델입니다. 크기만 보면 소형 모델에 속하지만, 설계 단계부터 긴 컨텍스트 처리와 에이전트 기반 작업 수행을 염두에 두고 만들어졌습니다.

공개된 평가 결과에 따르면, Youtu-LLM은 동급 혹은 더 큰 크기의 SOTA 모델들과 비교했을 때 상식 추론, STEM 문제 해결, 코딩, 장문 컨텍스트 처리에서 경쟁력 있는 성능을 보입니다. 특히 에이전트 관련 테스트에서는 더 큰 모델을 넘어서는 결과를 기록한 점이 눈에 띕니다.

---

모델 아키텍처와 주요 스펙

Youtu-LLM-2B의 핵심 사양은 다음과 같습니다.

• 모델 유형: Autoregressive Causal Language Model
• 어텐션 구조: Dense MLA(Multi-head Latent Attention)
• 파라미터 수: 1.96B
• 레이어 수: 32
• 어텐션 헤드 수: Q/K/V 각각 16
• MLA Rank: Q 1,536 / K·V 512
• MLA Dimension
  • QK(NoPE): 128
  • QK(RoPE): 64
  • V: 128
• 최대 컨텍스트 길이: 131,072 토큰
• Vocabulary Size: 128,256

이 구성에서 가장 중요한 포인트는 128K 컨텍스트 길이입니다. 이는 긴 문서 요약, 대규모 코드 분석, 다단계 추론이 필요한 작업에서 강력한 기반이 됩니다.

---

성능 비교로 본 Youtu-LLM의 특징

1. 상식 추론과 텍스트 이해

MMLU-Redux, MMLU-Pro, IFEval, DROP 등의 지표에서 Youtu-LLM-2B는 1~3B급 모델 중 상위권 성능을 보입니다. 특히 IFEval과 DROP에서는 80%를 넘는 수치를 기록하며, 명령 이해와 텍스트 추론 능력이 뛰어남을 보여줍니다.

2. STEM 및 수학 문제 해결

MATH-500, AIME 24/25, GPQA-Diamond, BBH 벤치마크에서도 안정적인 성능을 유지합니다. 일부 지표에서는 4B급 모델과 근접하거나 이를 위협하는 수준으로, 단순 지식 암기보다 논리적 추론 중심의 문제 해결 능력이 강점으로 나타납니다.

3. 코딩 능력

HumanEval, MBPP 계열 벤치마크에서 Youtu-LLM-2B는 소형 모델임에도 불구하고 매우 높은 점수를 기록합니다. 특히 HumanEval 기준으로 95% 이상의 성능은, 코드 생성과 문제 해결 측면에서 실무 활용 가능성을 보여줍니다.

---

Reasoning Mode와 에이전트 활용 능력

Youtu-LLM의 핵심 기능 중 하나는 Reasoning Mode입니다.
이 모드는 Chain of Thought(CoT)를 활성화하여, 단순 결과 출력이 아니라 중간 사고 과정을 포함한 응답을 생성합니다.

• 복잡한 논리 문제
• 다단계 의사결정
• 에이전트 기반 end-to-end 작업

과 같은 시나리오에서 특히 효과적이며, 실제 에이전트 벤치마크에서도 대형 모델을 능가하는 결과를 보였습니다.

---

Youtu-LLM-2B는 단순히 “작은 LLM”이 아닙니다.
1.96B 파라미터라는 경량 구조 안에 128K 초장문 컨텍스트, 강력한 추론 모드, 그리고 에이전트 작업 수행 능력을 함께 담아낸 것이 핵심입니다.

이 모델은 다음과 같은 기대 포인트를 갖습니다.

• 제한된 자원 환경에서도 활용 가능한 고성능 LLM
• 긴 문서 처리와 복잡한 추론이 동시에 필요한 업무에 적합
• 코딩 및 에이전트 기반 자동화 시나리오에 바로 적용 가능

결과적으로 Youtu-LLM-2B는 “소형 모델로 어디까지 가능한가”라는 질문에 현실적인 답을 제시하는 사례라고 볼 수 있습니다.

300x250

https://huggingface.co/tencent/Youtu-LLM-2B

tencent/Youtu-LLM-2B · Hugging Face