KnowGPT란 무엇인가? - 지식 그래프로 LLM 환각을 줄이는 차세대 프롬프팅 프레임워크

대규모 언어 모델(LLM)을 사용하다 보면, 그럴듯하지만 사실과 다른 답변을 생성하는 환각(hallucination) 문제를 자주 마주하게 됩니다. 특히 특정 도메인 지식이 필요한 질문일수록 이 문제는 더 두드러집니다.
이 글에서는 이러한 한계를 해결하기 위해 제안된 KnowGPT라는 새로운 프레임워크를 소개합니다. KnowGPT는 Knowledge Graph(KG) 와 강화학습, Multi-Armed Bandit 기법을 결합해 LLM이 더 정확하고 신뢰할 수 있는 답변을 생성하도록 돕는 기술입니다.
KnowGPT의 등장 배경부터 핵심 구조, 작동 방식, 그리고 실제 성능 결과까지 차근차근 정리해 보겠습니다.

반응형

---

LLM의 한계와 KnowGPT가 등장한 배경

LLM은 방대한 텍스트 데이터를 학습했지만, 모든 도메인 지식을 완벽하게 알고 있지는 않습니다. 이로 인해 다음과 같은 문제가 발생합니다.

• 특정 분야 질문에서 근거 없는 답변 생성
• 사실처럼 보이지만 검증되지 않은 정보 제시
• 질문 맥락과 직접적인 관련이 없는 장황한 설명

기존에는 이를 보완하기 위해 GraphRAG(Graph Retrieval-Augmented Generation) 방식이 활용됐습니다. 하지만 이 방식은 다음과 같은 현실적인 제약이 있었습니다.

• 검색 공간이 너무 커 효율이 낮음
• 폐쇄형 LLM 환경에서 적용이 어려움
• 높은 API 비용
• 프롬프트를 사람이 직접 설계해야 하는 부담

KnowGPT는 바로 이 문제들을 해결하기 위해 설계된 Knowledge Graph 기반 프롬프팅 프레임워크입니다.

---

KnowGPT의 핵심 개념 한눈에 보기

KnowGPT의 목표는 명확합니다.

LLM이 질문에 답변하기 전에, 꼭 필요한 도메인 지식만 선별해서, 가장 효과적인 형태의 프롬프트로 자동 구성해 주자.

이를 위해 KnowGPT는 두 가지 핵심 모듈로 구성됩니다.

1. 지식 추출 모듈 (Knowledge Extraction)
2. 프롬프트 구성 모듈 (Prompt Construction)

각 모듈이 어떤 역할을 하는지 자세히 살펴보겠습니다.

---

1. 지식 추출 모듈: 필요한 지식만 똑똑하게 고른다

왜 지식 추출이 중요한가?

Knowledge Graph에는 수많은 엔티티와 관계가 연결돼 있습니다. 문제는 이 중 질문에 정말 필요한 지식만 골라내는 것입니다.
KnowGPT는 이를 위해 Deep Reinforcement Learning 기반 정책 학습 방식을 사용합니다.

어떻게 작동할까?

• 질문과 관련된 출발 엔티티에서 시작
• Knowledge Graph를 따라 이동하며 관련 엔티티와 관계를 탐색
• 질문과 의미적으로 잘 맞고, 너무 길지 않은 경로를 선택

이 과정에서 모델은 다음 세 가지 기준을 동시에 고려합니다.

1. 목표 도달 여부
   질문의 핵심 대상과 연결되는 지식인지 평가합니다.
2. 질문과의 의미적 관련성
   선택한 지식 경로가 질문 맥락과 얼마나 잘 맞는지 판단합니다.
3. 간결함
   LLM 입력 길이 제한과 비용을 고려해, 꼭 필요한 정보만 유지합니다.

이렇게 강화학습을 통해 학습된 정책은, 질문마다 가장 유익하고 압축된 지식 경로를 자동으로 찾아냅니다.

---

2. 프롬프트 구성 모듈: 상황에 맞는 최적의 프롬프트 선택

지식을 찾았다고 끝이 아니다

지식을 추출했다고 해도, 이를 어떻게 프롬프트로 전달하느냐에 따라 LLM의 답변 품질은 크게 달라집니다.
KnowGPT는 이 문제를 Multi-Armed Bandit(MAB) 접근 방식으로 해결합니다.

프롬프트 구성의 핵심 아이디어

• 지식을 표현하는 방식은 여러 가지가 있음
  • 트리플 형태
  • 문장 형태
  • 그래프 설명 형태
• 지식 추출 방식도 하나가 아님
  • 강화학습 기반 추출
  • 휴리스틱 기반 간단한 서브그래프 추출

KnowGPT는 질문 맥락에 따라 어떤 조합이 가장 효과적인지 학습합니다.

학습 방식의 특징

• LLM의 최종 답변이 맞았는지 여부를 보상으로 사용
• 과거 성능이 좋은 조합은 더 자주 선택
• 덜 시도된 조합도 일정 확률로 탐색

이를 통해 질문 유형별로 가장 잘 맞는 프롬프트 전략을 자동으로 선택하게 됩니다.

---

KnowGPT의 기술적 강점 정리

KnowGPT가 기존 방식과 차별화되는 포인트는 다음과 같습니다.

• 도메인 지식 기반 추론 강화
• 강화학습을 통한 지식 선택 자동화
• 질문 맥락을 고려한 프롬프트 최적화
• 불필요한 토큰 사용 감소로 비용 절감
• 폐쇄형 LLM 환경에서도 적용 가능

---

실험 결과로 입증된 성능

KnowGPT는 GPT-3.5를 기반으로 구현되어 다음 세 가지 QA 벤치마크에서 평가되었습니다.

• CommonsenseQA
• OpenbookQA
• MedQA-USMLE

그 결과,

• 기존 LLM 단독 사용 대비 성능 향상
• 기존 SOTA GraphRAG 모델보다 높은 정확도 달성
• OpenbookQA에서 92.6% 정확도 기록, 인간 수준에 근접한 성능을 보였습니다.

이는 KnowGPT가 단순한 아이디어 제안이 아니라, 실제로 효과가 검증된 프레임워크임을 보여줍니다.

---

KnowGPT가 시사하는 의미

KnowGPT는 LLM의 한계를 단순히 “모델을 더 크게” 만드는 방식으로 해결하지 않습니다. 대신,

• 필요한 지식을 정확히 고르고
• 상황에 맞게 전달하는 방법을 학습하는 구조

를 제안합니다.

이는 앞으로의 LLM 활용 방향에 중요한 시사점을 줍니다.
단순 생성 모델을 넘어, 지식과 추론을 결합한 신뢰 가능한 AI 시스템으로 나아가기 위한 하나의 현실적인 해답이라고 볼 수 있습니다.

앞으로 도메인 특화 QA, 의료·법률·과학 분야 LLM 응용에서 KnowGPT와 같은 접근 방식은 더욱 주목받을 것으로 기대됩니다.

300x250

https://proceedings.neurips.cc/paper_files/paper/2024/hash/0b8705a611ed1ce19cdb759031078705-Abstract-Conference.html?fbclid=IwY2xjawPIlnFleHRuA2FlbQIxMABicmlkETE4NGYweDZ3RzdBdk1sTFhFc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHpRy4c5yttEKcMp8MjqCKQyemasjJiN-UZkzpKDxa3CuYANqvTbLRhKjYu4C_aem_MzpwFBD3hJkjGOt5GHQl1g

KnowGPT: Knowledge Graph based Prompting for Large Language Models