InfoDeepSeek: 차세대 Agentic RAG 벤치마크의 등장

대규모 언어 모델(LLM)은 질문에 답변할 때 외부 지식을 불러와 보강하는 Retrieval-Augmented Generation(RAG) 기법을 통해 큰 발전을 이루었습니다. 최근에는 여기에 Agentic RAG라는 개념이 등장하면서, 단순 검색을 넘어 스스로 정보 탐색 과정을 수행하는 자율형 에이전트 기반 RAG 연구가 활발히 진행되고 있습니다.

하지만 문제는 여기에 맞는 평가 기준이 없다는 점입니다. 기존 벤치마크는 제한된 데이터셋과 단순한 질의만을 사용해 현실적인 웹 환경에서의 정보 탐색 능력을 평가하기에 부족합니다. 이 한계를 극복하기 위해 등장한 것이 바로 InfoDeepSeek입니다.

이번 글에서는 InfoDeepSeek의 개념과 특징, 데이터셋 구성 방식, 평가 프레임워크, 그리고 실험 결과가 가지는 의미를 살펴보겠습니다.

반응형

---

기존 RAG 벤치마크의 한계

RAG 벤치마크는 그동안 모델의 검색·생성 능력을 평가하는 기준으로 사용돼 왔습니다. 하지만 다음과 같은 한계가 있었습니다.

• 정적 환경: 한정된 코퍼스 안에서만 검색이 가능해 실제 웹 환경의 동적 특성을 반영하지 못함
• 단순 질의: 비교적 쉬운 질문 위주로 구성되어 있어 모델의 에이전트적 탐색 능력을 제대로 평가할 수 없음
• 고정된 정답 세트: 미리 정해둔 문서 집합을 기준으로 평가하기 때문에 열린 환경에서의 다양한 답변 가능성을 반영하지 못함

이러한 한계로 인해, 실무와 연구 현장에서 필요로 하는 현실적이고 복잡한 정보 탐색 능력을 평가하기엔 부족했습니다.

---

InfoDeepSeek 소개

InfoDeepSeek는 이러한 문제를 해결하기 위해 제안된 새로운 벤치마크입니다. 핵심 목표는 동적인 웹 환경에서 에이전트 기반 정보 탐색 능력을 정교하게 평가하는 것입니다.

특징은 다음과 같습니다.

• 실제 웹 환경을 고려한 동적 질의 환경 제공
• 단순 정확성뿐만 아니라 정보의 유용성과 압축성까지 평가
• 기존 벤치마크보다 훨씬 더 복잡하고 다양한 질문 세트로 구성

즉, 단순히 답을 맞히는 수준을 넘어, 얼마나 효율적으로 정보에 접근하고 이를 활용할 수 있는가를 평가할 수 있도록 설계되었습니다.

---

데이터셋 구축 방식

InfoDeepSeek의 질문은 세 가지 기준을 충족하도록 설계되었습니다.

1. Determinacy(결정성) – 명확한 답을 요구하는 질문을 통해 평가 결과가 모호하지 않도록 함
2. Difficulty(난이도) – 단순 검색으로는 해결하기 어려운 고난도 질문 포함
3. Diversity(다양성) – 여러 도메인과 형태의 질문을 아우르도록 구성

구체적인 절차는 다음과 같습니다.

• 웹에서 핵심 지식(Anchor Knowledge)과 일반 지식을 수집
• 이를 조합해 초안 질문을 생성
• 결정성과 난이도 검증 과정을 거쳐 필터링
• 다단계 검증을 통해 최종 질문 후보군 확정

이 과정을 통해 현실적이고 도전적인 질문 세트가 만들어졌습니다.

---

평가 프레임워크

InfoDeepSeek는 기존의 단순 정답 매칭 방식에서 벗어나, 에이전트형 RAG 시스템을 평가하기 위한 새로운 지표를 제시합니다.

• Accuracy(정확성): 모델이 답변을 얼마나 정확히 제시했는가
• Utility(유용성): 답변이 실제 사용자 문제 해결에 얼마나 도움이 되는가
• Compactness(압축성): 불필요한 장황함 없이 핵심 정보를 얼마나 간결하게 전달했는가

이러한 정교한 평가 지표를 통해 단순 정답 여부를 넘어, 실질적 활용 가치를 객관적으로 측정할 수 있습니다.

---

실험 결과와 시사점

연구진은 다양한 LLM과 검색 엔진을 InfoDeepSeek로 평가했습니다. 실험 결과는 다음과 같은 의미를 보여줍니다.

• 모델과 검색 엔진은 질문 속성에 따라 성능 편차가 크게 나타남
• 단순 정확성만으로는 모델의 진짜 역량을 평가하기 어려움
• 에이전트 기반 RAG는 기존 단순 검색 기반보다 더 풍부하고 유용한 답변을 생성할 가능성이 큼

즉, InfoDeepSeek는 모델의 강점과 약점을 세밀히 드러내고, 앞으로의 연구와 개선 방향에 중요한 가이드를 제공합니다.

---

728x90

InfoDeepSeek는 기존 RAG 벤치마크의 한계를 넘어, 현실적이고 동적인 웹 환경에서의 정보 탐색 능력을 평가할 수 있는 새로운 기준을 제시합니다.

이를 통해 연구자는 단순히 모델이 정답을 맞히는지를 넘어, 얼마나 똑똑하게 정보를 찾아내고 효율적으로 답을 정리하는지를 확인할 수 있습니다.

앞으로 InfoDeepSeek는

• LLM 기반 검색·추천 시스템의 성능 개선
• 에이전트형 RAG 연구 발전
• 실무 적용 가능성 확대

등 다양한 측면에서 중요한 역할을 할 것으로 기대됩니다.

https://infodeepseek.github.io/?fbclid=IwY2xjawMXTZFleHRuA2FlbQIxMABicmlkETFRd1NsUnZUWHYzWUJ1a0dKAR6nxdPHXqs6cM6Kimdl7W7EBG1RnLptNXMwnfUR_KfJ452WpXQxXmkh6UO0WA_aem_eFIk5RZ62Q_TSMb9ZGuslA

SOCIAL MEDIA TITLE TAG