AI 에이전트 평가(Evals)의 실용적 가이드: Anthropic 엔지니어링 방법론 정리

이 글은 Anthropic에서 공개한 **「AI 에이전트 평가(Evals)의 실용적 가이드와 방법론」**을 바탕으로, 기존 LLM 평가 방식의 한계와 AI 에이전트를 어떻게 평가해야 하는지에 대해 정리한 글입니다.
단순한 챗봇을 넘어, 도구를 사용하고 여러 단계를 거쳐 문제를 해결하는 AI 에이전트가 늘어나면서 “이 에이전트가 정말 잘 동작하는가?”를 판단하는 기준 역시 훨씬 복잡해졌습니다.
본 글에서는 왜 기존 벤치마크가 부족한지, Anthropic이 제안하는 평가 구조와 채점 방식, 그리고 실제 코딩 에이전트 평가 예시까지 차례대로 살펴봅니다.

반응형

---

AI 에이전트 평가가 어려운 이유

기존 LLM 평가는 대부분 단일 입력 → 단일 출력(Single-turn) 구조를 전제로 합니다. 즉, 최종 답변이 맞는지만 확인하면 평가가 끝났습니다.

하지만 AI 에이전트는 다릅니다.

• 여러 번의 대화를 거쳐 작업을 수행합니다.
• 외부 도구(API, 파일, 데이터베이스 등)를 호출합니다.
• 환경의 상태를 실제로 변경합니다.
• 중간 과정의 선택이 결과 품질에 큰 영향을 줍니다.

이런 특성 때문에 단순히 “최종 결과가 맞았는가”만으로는 충분하지 않습니다.
에이전트가 올바른 도구를 사용했는지, 불필요한 단계를 거치지 않았는지, 안정적으로 동일한 결과를 내는지까지 함께 봐야 합니다.

---

Anthropic이 제안하는 에이전트 평가(Eval) 구조

Anthropic은 에이전트 평가를 소프트웨어 테스트와 유사하게 접근해야 한다고 설명합니다. 효과적인 Eval 시스템은 다음 요소들로 구성됩니다.

1. 태스크(Task)

• 정의된 입력과 성공 기준을 가진 단일 테스트 케이스
• 예: “비밀번호가 비어 있을 때 인증 우회 취약점을 수정하라”

2. 채점자(Grader)

• 에이전트의 수행 결과를 점수화하는 로직
• 단일 방식이 아닌 여러 유형을 조합하는 것이 핵심

3. 트랜스크립트(Transcript)

• 에이전트의 전체 실행 기록
• 사고 과정, 도구 호출, 중간 결과가 모두 포함됨

4. 결과(Outcome)

• 에이전트 실행 후 환경의 최종 상태
• 예: 실제로 DB에 예약이 생성되었는가, 로그가 남았는가

이 구조는 “답이 맞았는가?”가 아니라
“어떻게 그 답에 도달했는가”를 평가하기 위한 기반입니다.

---

채점자(Grader) 유형과 역할 비교

Anthropic은 하나의 채점 방식에 의존하지 말고, 서로 다른 강점을 가진 채점자를 조합할 것을 권장합니다.

코드 기반 채점(Code-based)

• 문자열 비교, 정규식, 단위 테스트, 정적 분석 등
• 장점: 빠르고 저렴하며, 결과가 재현 가능
• 단점: 뉘앙스나 맥락을 놓칠 수 있음

모델 기반 채점(Model-based)

• LLM을 심사위원(Judge)으로 활용해 루브릭 기반 채점
• 장점: 유연하고 복잡한 품질 평가 가능
• 단점: 비결정론적이며 비용이 발생, 교정 필요

사람(Human) 평가

• 전문가 리뷰 또는 크라우드 소싱
• 장점: 가장 신뢰할 수 있는 기준
• 단점: 매우 느리고 비용이 큼

실무에서는 코드 기반 + 모델 기반을 기본으로 사용하고,
중요한 기준을 보정할 때 사람 평가를 활용하는 방식이 효과적입니다.

---

코딩 에이전트 평가 예시로 보는 실제 구성

Anthropic은 코딩 에이전트 평가를 위한 YAML 기반 예시를 제시합니다. 핵심은 “코드가 실행되느냐”만 보지 않는다는 점입니다.

평가 항목에는 다음이 포함됩니다.

• 결정론적 테스트: 실제 테스트 코드 통과 여부
• LLM 루브릭 채점: 코드 품질, 스타일, 보안 관점 평가
• 정적 분석: 린터 및 보안 도구 실행
• 상태 확인: 보안 로그가 남았는지 확인
• 도구 사용 검증: 필요한 파일을 읽고 수정했는지 확인

또한 단순 성공/실패뿐 아니라 다음과 같은 메트릭을 추적합니다.

• 대화 턴 수
• 도구 호출 횟수
• 전체 토큰 사용량
• 응답 지연 시간

이는 에이전트의 효율성과 안정성을 함께 보기 위함입니다.

---

에이전트 평가 지표의 확장: pass@k와 pass^k

에이전트는 비결정론적 특성이 강하기 때문에, 단 한 번의 실행 결과만으로는 신뢰성을 판단하기 어렵습니다.

이를 보완하기 위해 Anthropic은 다음 지표를 사용합니다.

• pass@k: k번 시도 중 최소 1번 이상 성공할 확률
  → 탐색 능력 측정
• pass^k: k번 시도 모두 성공할 확률
  → 일관성과 신뢰성 측정

이 지표는 “운 좋게 한 번 성공한 에이전트”와
“항상 안정적으로 성공하는 에이전트”를 구분하는 데 유용합니다.

---

에이전트 개발 수명 주기와 Eval의 변화

Anthropic은 평가의 목적도 개발 단계에 따라 달라져야 한다고 말합니다.

• 초기 단계: Capability Evals
  • 에이전트가 특정 작업을 할 수 있는지 확인
• 성숙 단계: Regression Evals
  • 기존에 잘 되던 기능이 깨지지 않았는지 확인

이는 소프트웨어 개발에서 기능 테스트에서 회귀 테스트로 넘어가는 흐름과 동일합니다.

---

평가를 위한 도구와 프레임워크

Anthropic은 특정 도구를 강제하지 않습니다. 대신 다음과 같은 선택지를 제시합니다.

• Harbor: 컨테이너 기반 실행 환경
• Promptfoo: YAML 기반 테스트 구성
• Braintrust, LangSmith: 평가 및 추적 도구

중요한 점은 어떤 프레임워크를 쓰느냐가 아니라, 고품질 테스트 케이스를 얼마나 잘 설계했느냐입니다.

---

AI 에이전트 평가의 핵심 시사점

Anthropic의 가이드는 하나의 메시지로 정리할 수 있습니다.

AI 에이전트 평가는 “정답 확인”이 아니라 “행동 검증”이다.

도구를 쓰고, 환경을 바꾸고, 여러 단계를 거치는 에이전트를 평가하려면
단위 테스트와 통합 테스트를 결합하고, 결정론적 채점과 모델 기반 채점을 함께 사용해야 합니다.

앞으로 AI 에이전트가 제품과 서비스의 핵심 구성 요소가 될수록,
이와 같은 체계적인 Eval 설계는 선택이 아닌 필수가 될 것입니다.
이 글이 AI 에이전트 평가 체계를 고민하는 분들에게 실질적인 기준점이 되기를 기대합니다.

300x250

https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

Demystifying evals for AI agents