AI 에이전트가 스스로 규칙을 고친다: Self-Harness 프레임워크 핵심 정리

이 글은 AI 에이전트의 성능을 결정짓는 중요한 요소인 하네스(harness)를 AI 스스로 개선하도록 설계한 Self-Harness 프레임워크를 정리한 글입니다. 단순히 더 강력한 언어 모델을 쓰는 것이 아니라, 에이전트를 둘러싼 규칙과 실행 구조를 어떻게 자동으로 발전시킬 수 있는지, 그 배경과 작동 방식, 실제 실험 결과와 기업 적용 시 고려사항까지 차분히 살펴봅니다.

반응형

---

AI 성능의 숨은 변수, 하네스란 무엇인가

LLM 기반 에이전트의 성능은 모델 자체만으로 결정되지 않습니다. 실제 성능을 크게 좌우하는 것은 하네스입니다.
하네스는 모델이 환경과 상호작용하도록 감싸는 실행 계층으로, 다음과 같은 요소를 포함합니다.

• 시스템 프롬프트
• 사용 가능한 도구와 인터페이스
• 메모리 관리 방식
• 검증 규칙과 실행 정책
• 오케스트레이션 로직
• 실패 시 복구 절차

현실에서 발생하는 많은 에이전트 실패는 모델의 한계가 아니라 이 하네스 설계에서 비롯됩니다. 예를 들어 결과를 검증하지 않고 성공으로 판단하거나, 같은 실패 명령을 반복 실행하거나, 대화 기록이 길어지면서 맥락이 무너지는 문제가 대표적입니다.

---

기존 하네스 엔지니어링의 한계

문제는 하네스를 개선하는 방식입니다. 현재 대부분의 하네스 튜닝은 다음과 같은 특징을 가집니다.

• 직관과 경험에 의존한 수동 디버깅
• 일부 실패 사례만 보고 수정
• 명확한 성능 개선 근거가 부족

모델은 빠르게 진화하는데, 사람이 매번 모델 특성에 맞춰 하네스를 손으로 고치는 방식은 점점 비용이 커지고 지속 가능하지 않게 됩니다. 더 강력한 모델로 약한 모델의 하네스를 개선하는 접근도 있지만, 비용·접근성·모델 특성 불일치라는 또 다른 한계를 가집니다.

---

Self-Harness란 무엇인가

이 문제를 해결하기 위해 Shanghai Artificial Intelligence Laboratory 연구진은 Self-Harness라는 새로운 패러다임을 제안했습니다.

Self-Harness의 핵심은 간단합니다.
AI 에이전트가 자신의 실행 기록을 분석해, 스스로 하네스 규칙을 수정하고 개선한다는 점입니다.

사람의 추측 대신, 실제 실행 결과라는 증거를 기반으로 하네스를 진화시키는 구조입니다.

---

Self-Harness의 3단계 작동 구조

Self-Harness는 반복 가능한 3단계 루프로 구성됩니다.

1. 약점 탐색(Weakness Mining)

에이전트가 주어진 작업을 수행하고, 성공·실패가 명확히 검증 가능한 실행 로그를 수집합니다.
실패한 사례들을 분류해 특정 모델에서 반복적으로 나타나는 실패 패턴을 찾습니다.

2. 하네스 수정 제안(Harness Proposal)

탐지된 실패 패턴을 바탕으로, 에이전트는 ‘제안자’ 역할을 수행하며 최소한의 수정안을 생성합니다.
중요한 점은 일반적인 규칙 추가가 아니라, 특정 실패 메커니즘에만 대응하는 정밀한 수정이라는 점입니다.

3. 수정안 검증(Proposal Validation)

제안된 하네스 수정은 회귀 테스트를 거칩니다.
성능을 개선하면서도 다른 작업에서 성능 저하가 발생하지 않는 경우에만 채택됩니다.
여러 수정안이 통과되면 병합되어 다음 반복의 기준 하네스가 됩니다.

---

실제 실험 결과: 최대 60% 성능 향상

연구진은 Terminal-Bench 2.0 벤치마크를 통해 Self-Harness를 평가했습니다.
모델은 MiniMax M2.5, Qwen-3.5, GLM-5를 사용했고, 모델 자체는 고정한 채 하네스만 자동으로 진화시켰습니다.

결과는 명확했습니다.

• 모델별로 33%~60%의 상대적 성능 향상
• 단순 프롬프트 확장이 아닌, 실패 원인에 직접 대응하는 규칙 개선

구체적인 개선 사례

• MiniMax M2.5
  무한히 도구 호출을 반복하던 문제를 감지 →
  호출 횟수 제한과 초기 산출물 생성을 강제하는 규칙 추가
• Qwen-3.5
  파일 오류 발생 후 같은 명령을 반복 실행하던 문제 →
  동일 명령 재시도 금지 및 파일 복구 규칙 추가
• GLM-5
  환경 변수 유지 실패, 불필요한 대규모 다운로드 문제 →
  PATH 유지 규칙, 외부 연산 제한, 검증 실패 시 복구 규칙 도입

이처럼 Self-Harness는 모델마다 다른 약점을 구체적으로 교정합니다.

---

자동 하네스의 숨겨진 비용과 한계

Self-Harness가 모든 문제를 공짜로 해결해 주는 것은 아닙니다.

• 반복 평가와 회귀 테스트로 인한 연산 비용 증가
• API 토큰 사용량 및 최적화 시간 증가
• 정확한 평가 시스템이 없으면 잘못된 수정이 채택될 위험

따라서 Self-Harness는 실패 여부를 명확히 판단할 수 있는 환경에서 가장 효과적입니다.

적합한 활용 분야

• 코드 작성 및 수정
• 내부 업무 자동화
• DevOps 파이프라인

피해야 할 분야

• 의료, 법률, 안전 인프라처럼
  평가가 주관적이거나 실패 비용이 큰 영역

---

프롬프트 엔지니어에서 피드백 설계자로

Self-Harness가 의미하는 변화는 분명합니다.
앞으로 엔지니어의 역할은 단순한 프롬프트 수정자가 아니라, 에이전트가 스스로 개선될 수 있는 피드백 구조를 설계하는 사람으로 이동합니다.

모델이 점점 더 많은 능력을 흡수하더라도, 하네스는 사라지지 않습니다.
다만 그 범위가 넓어지고, 인간은 여전히 평가 기준과 피드백의 설계자로서 중요한 역할을 맡게 됩니다.

---

728x90

Self-Harness는 “더 똑똑한 모델” 경쟁에서 한 발짝 벗어나,
**“더 잘 진화하는 시스템”**이라는 새로운 방향을 제시합니다.

• 하네스는 부차적인 요소가 아니라 핵심 성능 요소다
• 자동화의 핵심은 추측이 아니라 검증 가능한 피드백이다
• AI 도입의 경쟁력은 모델 선택보다 설계 역량에 달려 있다

AI 에이전트를 실제 업무에 적용하고 있다면, 이제 질문은 이것입니다.
“어떤 모델을 쓰고 있는가?”가 아니라
“이 에이전트는 스스로 개선될 수 있는 구조를 갖추고 있는가?”

300x250

https://venturebeat.com/orchestration/researchers-introduce-self-harness-a-framework-that-lets-ai-agents-rewrite-their-own-rules-boosting-performance-up-to-60?fbclid=IwY2xjawSoNgdleHRuA2FlbQIxMQBzcnRjBmFwcF9pZBAyMjIwMzkxNzg4MjAwODkyAAEeReZrQrvLXcrPXv5Nel3v1KI7E8snPdWCupEoLgBTuID1bVMG9Dupd5F6WRg_aem_ssyz_EaTQC5_SJgnWYXThg

Researchers introduce Self-Harness, a framework that lets AI agents rewrite their own rules, boosting performance up to 60%