라벨 없는 데이터로 스스로 진화하는 AI? '테스트-타임 강화학습(TTRL)' 혁신 기술 알아보기

 

라벨링된 데이터 없이도 스스로 정답을 찾아가는 인공지능이 등장했습니다. 칭화대학교와 상하이 AI랩 연구진이 제안한 '테스트-타임 강화학습(TTRL)'은 인간의 개입 없이 LLM(대형언어모델)이 스스로 학습하고 성능을 높일 수 있게 합니다.
이 블로그에서는 TTRL이란 무엇인지, 왜 중요한지, 어떻게 동작하는지, 그리고 실제로 어떤 성과를 보여주었는지 쉽고 명확하게 설명합니다.

반응형

---

1. 테스트-타임 강화학습(TTRL)란 무엇인가?

기존 LLM은 대부분 사람이 라벨링한 데이터에 의존해 학습해왔습니다. 하지만 라벨링은 시간과 비용이 많이 들고, 특히 교육이나 과학처럼 복잡한 분야에서는 훈련 데이터만으로는 부족했습니다.
TTRL(Test-Time Reinforcement Learning)은 라벨이 없는 테스트 데이터만으로 강화학습을 진행하는 새로운 방식입니다. 별도의 정답 없이도 모델이 스스로 기준을 만들고 학습할 수 있게 합니다.

---

2. TTRL은 어떻게 작동할까?

TTRL은 두 단계로 모델을 학습시킵니다:

1. 다수결로 임시 정답 설정
   • 하나의 질문(프롬프트)에 대해 모델이 여러 답변을 생성합니다.
   • 가장 많이 나온 답변을 '임시 정답'으로 설정합니다.
2. 보상을 통한 강화학습
   • 모델이 만든 각 답변이 임시 정답과 일치하는지 비교합니다.
   • 일치하면 보상을 주고, 다르면 보상을 주지 않습니다.
   • 이 정보를 이용해 PPO(Proximal Policy Optimization)나 GRPO 같은 RL 알고리즘으로 모델을 학습시킵니다.

이 과정을 통해 모델은 점점 더 정확하고 일관된 답변을 할 수 있게 됩니다.

---

3. TTRL의 주요 특징

• 사람의 개입이 필요 없다
  기존처럼 사람이 라벨링하거나 평가할 필요 없이, 모델이 스스로 기준을 세우고 학습합니다.
• 간단한 구조
  복잡한 설정 없이 기존 RL 알고리즘과 자연스럽게 통합할 수 있습니다.
• 일반화 성능 강화
  특정 데이터셋에만 최적화되는 것이 아니라, 다른 테스트셋에서도 성능을 유지합니다.
• 자기강화(Self-reinforcing) 가능
  완벽하지 않은 임시 정답을 사용해도, 모델 스스로 계속해서 성능을 높여갑니다.

---

4. 실험 결과: 성능은 얼마나 개선됐을까?

연구진은 다양한 벤치마크 테스트를 통해 TTRL의 효과를 입증했습니다.

• '큐원2.5-매스-7B' 모델
  • AIME 2024 정답률이 16.7% → 43.3%로 159.3% 향상
  • 평균 84.1% 성능 향상 달성
• '큐원2.5-매스-1.5B' 모델
  • 매스-500 점수가 33.0% → 80.0%로 대폭 개선

특히 모델이 스스로 만든 임시 정답보다 더 높은 성능을 달성했다는 점이 주목할 만합니다. 이는 TTRL이 불완전한 정보 속에서도 자기강화가 가능하다는 것을 보여줍니다.

---

5. TTRL 코드 공개

이번 연구의 TTRL 코드는 GitHub에 공개되어 있습니다.
AI 개발자나 연구자라면 직접 확인하고 테스트할 수 있습니다.

---

728x90

TTRL은 인공지능 학습 방법의 새로운 지평을 열었습니다. 인간의 개입 없이도 LLM이 스스로 성장할 수 있는 가능성을 보여주었기 때문입니다.
특히 복잡하거나 변화가 빠른 환경에서는, 더 이상 사람이 수많은 데이터를 일일이 라벨링하지 않아도 AI가 지속적으로 진화할 수 있습니다.

앞으로 이 기술이 상용화되면, 교육, 과학, 의료 등 다양한 분야에서 더 빠르고 효율적인 AI 학습과 적용이 가능해질 것으로 기대됩니다.
TTRL이 만들어낼 AI의 미래, 앞으로 더욱 기대해봐도 좋을 것 같습니다.

https://github.com/PRIME-RL/TTRL

GitHub - PRIME-RL/TTRL: TTRL: Test-Time Reinforcement Learning