AI도 자기를 인식한다? — KnowSelf가 보여주는 새로운 에이전트 학습의 방향

 

지금까지의 LLM은 ‘모르면 찾아 써라’였다고요?

지금까지 대부분의 LLM 기반 AI 에이전트는 무조건 외부 지식에 의존하거나, 반성 없이 답을 뱉었습니다. 일종의 “뿌리고 보는 식(flood irrigation)”의 학습 방식이죠. 하지만 인간은 그렇지 않잖아요. 상황에 따라 판단하고, 고민하고, 정말 필요할 때만 지식을 찾습니다.

이런 인간의 사고 흐름을 AI에게도 적용할 수 있다면 어떨까요?

이번 블로그에서는 바로 이 새로운 사고방식을 적용한 혁신적인 접근법 **‘KnowSelf’**를 소개합니다. KnowSelf는 LLM 기반 AI가 자기 인식(self-awareness) 능력을 갖추고, 상황에 따라 지식 활용을 스스로 조절할 수 있도록 만든 데이터 중심 방법론입니다.

쉽게 말해, 이 방법을 통해 AI도 “생각하고, 반성하고, 필요할 때만 외부 지식을 활용”할 수 있게 되는 것이죠.

반응형

---

🔍 KnowSelf란 무엇인가?

🧠 개념 정리: ‘에이전트적 지식 기반 자기 인식’이란?

KnowSelf는 에이전트가 스스로 상황을 판단하고, 그에 맞는 사고 방식을 선택하도록 만드는 방법론입니다. 여기서 중요한 건 인간의 사고 방식에서 따온 세 가지 분류입니다:

• 빠른 사고 (Fast Thinking): 직관적으로 바로 해결할 수 있는 경우
• 느린 사고 (Slow Thinking): 고민과 반성이 필요한 상황
• 지식 기반 사고 (Knowledgeable Thinking): 외부 정보를 참고해야 해결 가능한 경우

기존 에이전트는 이걸 구분하지 못했기 때문에 쓸데없는 지식을 들이붓는 일이 많았어요. KnowSelf는 이 세 가지 사고를 구분해주는 휴리스틱 판단 기준을 만들고, **특수 토큰(, )**을 사용해 각 사고 상황을 명시적으로 표시합니다.

---

🏗️ KnowSelf의 구조와 작동 방식

1️⃣ 자기 인식 데이터 구축

에이전트는 자기 궤적에서 각 상황을 파악하고 아래와 같이 토큰을 붙입니다:

• 반성이 필요할 때: <reflection>
• 외부 지식이 필요할 때: <knowledge>

이렇게 분류된 데이터를 기반으로 학습 데이터를 구성해요.

2️⃣ 자기 인식 학습 (2단계 훈련 프로세스)

• 1단계 - SFT(지도 학습): 특수 토큰이 붙은 상황 데이터를 바탕으로 에이전트가 자기 인식을 학습합니다.
• 2단계 - RPO 손실 최적화: 올바른 사고 방식 선택을 강화하기 위해 RPO(Reasoning Preference Optimisation) 손실을 적용합니다. 여기서는 잘못된 선택에 대한 negative 샘플까지 활용해 더 정교한 학습이 진행됩니다.

📌 핵심 포인트: 특수 토큰에 적응하도록 모델의 어휘도 확장됩니다.

3️⃣ 자기 인식 기반 추론

학습된 에이전트는 실시간 추론 시 상황에 맞는 토큰을 생성합니다.
예를 들어, 지식이 필요한 경우 <knowledge>를 생성하고, 그때만 외부 지식을 검색해서 통합하죠.
필요할 때만 검색하는 구조, 이거 완전 인간처럼 ‘선택적으로 사고’하는 거 아닐까요?

---

🧪 실험 결과 요약

KnowSelf는 두 가지 시뮬레이션 기반 에이전트 플래닝 데이터셋에서 평가됐습니다.
그 결과는?

• 외부 지식 사용은 줄이면서
• 기존 기준 모델보다 더 좋은 성능을 보여줌
• 더 적은 반성, 더 효율적인 결정, 더 나은 일반화 능력

이 방식이 기존의 flood식 지식 주입 방식보다 훨씬 효율적이라는 것을 입증한 셈입니다.

---

🧰 KnowSelf 사용 예시

사용 방법은 논문 수준에서는 내부적으로 훈련 데이터 구성 및 토큰 삽입 자동화가 필요합니다. 아직은 일반적인 오픈소스 API처럼 바로 가져다 쓰기엔 연구용 단계이지만, 구조적으로는 이렇게 활용됩니다:

Input: “에이전트가 다음 행동을 결정해야 할 상황”
Model Output: “<knowledge> ... 적절한 지식 불러오기 … 계획 생성”

즉, 단순히 문장 생성이 아닌 상황을 판단해 어떤 전략으로 접근할지를 먼저 선택하는 구조입니다.

---

왜 KnowSelf가 중요한가?

KnowSelf는 단순히 모델의 성능을 높이는 기술이 아닙니다.
AI에게도 인간처럼 ‘판단’과 ‘선택’이라는 인지 과정을 부여한다는 점에서 진짜 의미가 있어요.

지금까지 AI는 ‘다 알고 있다’는 가정하에 작동했지만, 이제는 ‘모를 수도 있고, 그럴 땐 찾아보자’는 유연한 태도를 가질 수 있게 된 것이죠.

728x90

---

🔮 앞으로의 기대

• 지식 사용의 효율성: 필요할 때만 지식 사용 → 계산 비용 절감
• 적응력 향상: 새로운 상황에 대한 일반화 가능성 증가
• 사고 방식의 인간화: 신뢰성 있는 판단 기반 제공

KnowSelf는 AI가 점점 더 인간다운 판단을 하도록 진화해가는 흐름의 핵심 기술 중 하나가 될 것입니다. 그리고 그 진화의 시작은 바로 **‘스스로를 인식하는 능력’**이죠.

https://arxiv.org/abs/2504.03553?fbclid=IwY2xjawJgsj9leHRuA2FlbQIxMAABHlpCRYEU5cp9hvwuAv-D03Zw3AJxyk8DhPi-oP5ySlkFI2ztFM1LOe3S8b1P_aem_ATC_cpf26RvDIi42iUJqvQ

Agentic Knowledgeable Self-awareness