AI 모델의 한계를 시험하다: 인류의 마지막 시험(HLE) 벤치마크의 등장

🚀 AI의 지능, 어디까지 왔을까?

AI가 인간의 지능을 뛰어넘는 날이 올까요? 이미 우리는 챗봇, 자율주행차, 고급 번역기 같은 AI 기술에 익숙해졌습니다. 하지만 진짜 중요한 질문은 따로 있습니다. "AI가 진정한 인간 수준의 지능, 즉 AGI(Artificial General Intelligence)에 도달했는가?"

최근, AI의 한계를 시험하기 위해 **'인류의 마지막 시험(Humanity's Last Exam, HLE)'**이라는 벤치마크가 공개됐습니다. 이 시험은 AI가 인간의 지적 능력에 얼마나 근접했는지를 평가하기 위한, 지금까지 가장 어려운 테스트로 평가됩니다. 놀랍게도, 최신 AI 모델들조차 정답률 10%를 넘기지 못했습니다.

이 글에서는 HLE 벤치마크가 무엇인지, 어떻게 만들어졌으며, AI 모델들이 왜 이 시험에서 고전했는지 살펴보겠습니다.

반응형

---

🧠 HLE 벤치마크란 무엇인가?

**HLE(Humanity's Last Exam)**는 AI 안전 연구자인 **댄 헨드릭스(Dan Hendrycks)**가 스케일 AI와 협력해 만든 새로운 벤치마크 테스트입니다. 원래 이름은 **'인류의 마지막 생존(Humanity's Last Stand)'**이었으나 지나치게 극단적이라는 이유로 현재 이름으로 변경됐습니다.

📊 왜 만들어졌을까?

기존 AI 테스트(MMLU 등)는 다양한 분야의 문제로 AI의 성능을 평가했지만, GPT-4 같은 모델이 85% 이상의 정답률을 기록하면서 변별력이 떨어졌습니다.

• MMLU: 과학, 기술, 인문학 등 57개 분야 문제로 구성
• 문제점: "너무 쉬워졌다!" AI가 높은 점수를 받지만 진짜 '인간 수준'의 지능을 증명하긴 어려움

그래서 헨드릭스 이사는 **"세계적 수준의 전문가가 풀 수 있는 수준의 문제"**로 AI를 평가하자는 목표로 HLE를 개발했습니다.

---

🔍 HLE의 구성과 문제 유형

🧩 1. 문제 난이도

HLE는 철학, 로켓 공학, 고급 수학 등 다양한 분야의 3,000개 이상의 객관식 및 단답형 문제로 구성돼 있습니다.

• 문제 출제자: 50개국 500개 기관의 대학교수, 수상 경력자 등 1,000여 명의 전문가
• 난이도: 대학원 수준의 심화 문제, 일부는 "인간조차 답을 모르는 영역" 포함

🗂️ 2. 문제 선정 과정

• 1차 필터링: 주요 AI 모델에 문제를 풀게 한 뒤, 찍기보다 성적이 안 나오거나 오답률이 높은 문제만 선별
• 2차 검증: 인간 전문가가 문제를 다듬고 정답을 최종 확인
• 보상: 문제당 500~5,000달러의 고액 보상 지급

---

⚡ HLE에서 AI 모델들이 보인 성과

HLE 테스트 결과, 최신 AI 모델 6개 모두 정답률 10% 이하의 충격적인 성적을 기록했습니다.

• 딥시크 R1 모델: 9.4%
• 오픈AI o1 모델: 8.3%

이 성적은 랜덤으로 답을 선택하는 것과 비슷하거나 더 낮은 수준입니다.

❗ 왜 이렇게 낮았을까?

1. 추론 능력의 한계: 단순 정보 검색이나 패턴 인식이 아닌, 고급 사고와 창의적 추론이 요구됨
2. 지식의 불균형성: 박사급 문제는 잘 풀지만, 간단한 질문(예: "strawberry에 'r'이 몇 개인가?")에선 실수
3. 구조화된 데이터 의존성: 비정형 데이터나 맥락 파악이 필요한 문제에 약함

---

🤖 AI가 AGI에 가까워지고 있을까?

댄 헨드릭스는 "AI 모델들이 빠르게 학습하고 있으며, 올해 말에는 50% 이상의 정답률을 기록할 수 있을 것"이라고 전망했습니다. 만약 그렇게 된다면, AI가 인간 전문가 수준에 근접했다고 볼 수 있습니다.

🌍 앞으로의 과제

• 더 어려운 벤치마크 필요: 경제 시스템 분석, 고차원 과학 문제 등
• 인간이 모르는 문제 해결 가능성: AI가 인간의 지식을 넘어서는 시점이 올 수도 있음

---

728x90

• HLE 벤치마크는 지금까지 가장 어려운 AI 평가 시험
• 최신 AI 모델도 정답률 10% 미만으로 인간 수준에 도달하지 못함
• 하지만 AI는 빠르게 발전 중이며, 곧 인간 전문가를 능가할 가능성도 있음
• AI의 약점은 단순한 문제에서의 실수와 비정형 데이터 처리 능력 부족

🤔 AI가 인간 지능을 완전히 뛰어넘을 수 있을까요?
지금은 아니지만, 그날이 머지않았을지도 모릅니다. AI의 한계를 시험하는 여정은 이제 시작일 뿐입니다. 🚀