본문 바로가기

인공지능

Graph Engineering이 RAG를 넘어서는 이유: Microsoft, Stanford, Anthropic이 선택한 차세대 AI 아키텍처

728x90
반응형
728x170

Graph Engineering이 주목받는 이유

검색 증강 생성(RAG, Retrieval-Augmented Generation)은 AI 서비스의 정확도를 높이는 대표적인 기술로 자리 잡았습니다. 하지만 데이터가 많아지고 질문이 복잡해질수록 기존 RAG는 한계를 드러냅니다. 문서를 검색해 관련 내용을 찾는 데는 효과적이지만, 데이터 간의 관계와 원인까지 이해하는 데는 어려움이 있기 때문입니다.

이러한 한계를 해결하기 위해 Microsoft, Stanford, Anthropic은 각각 다른 연구와 프로젝트를 통해 Graph Engineering이라는 접근 방식을 발전시키고 있습니다. Graph Engineering은 단순히 문서를 검색하는 것이 아니라 데이터 간의 관계를 그래프로 연결하여 AI가 보다 정확한 추론을 수행하도록 지원하는 기술입니다.

이번 글에서는 Graph Engineering의 개념과 기존 RAG와의 차이점, 주요 연구 사례, 그리고 실제 활용 분야를 살펴보겠습니다.

반응형

기존 RAG의 한계

기존 RAG는 다음과 같은 방식으로 동작합니다.

  1. 사용자의 질문을 입력받습니다.
  2. 관련 문서를 검색합니다.
  3. 검색된 문서 일부를 LLM에 제공합니다.
  4. LLM이 답변을 생성합니다.

이 방식은 단순한 정보 검색에는 효과적이지만, 여러 문서에 흩어져 있는 정보를 연결하거나 원인과 결과를 추론해야 하는 질문에서는 정확도가 떨어질 수 있습니다.

예를 들어 "3월 제품 판매량이 감소한 이유는 무엇인가?"라는 질문을 받으면 일반적인 RAG는 '3월', '판매량'이 포함된 문서를 찾아 제공합니다. 하지만 판매량 감소의 원인이 공급망 문제인지, 출시 지연인지, 고객 리뷰인지까지 연결해서 설명하기는 어렵습니다.


Graph Engineering이란?

Graph Engineering은 데이터를 엔터티(Entity)관계(Relationship) 로 구조화하여 Knowledge Graph를 구축하는 방식입니다.

대표적인 관계는 다음과 같습니다.

  • Microsoft → 개발 → GraphRAG
  • Anthropic → 개발 → Claude
  • Claude → 지원 → MCP

이처럼 정보를 문장이 아닌 관계 중심의 데이터로 저장하면 AI는 단순히 문서를 검색하는 것이 아니라 관계를 따라가며 필요한 정보를 찾을 수 있습니다.

즉,

  • RAG는 텍스트를 검색하고,
  • Graph Engineering은 관계를 탐색합니다.

이 차이가 복잡한 질문에서 더 높은 성능을 만들어냅니다.


Microsoft GraphRAG가 제시한 구조

Microsoft는 GraphRAG를 오픈소스로 공개하며 Graph 기반 검색 구조를 제안했습니다.

전체 과정은 다음과 같습니다.

  • 문서 수집
  • 문서 분할(Chunking)
  • 엔터티 및 관계 추출
  • Knowledge Graph 생성
  • 커뮤니티 분석
  • Community Report 생성
  • 임베딩 생성
  • Local Search와 Global Search 수행

특히 GraphRAG는 두 가지 검색 방식을 제공합니다.

Local Search

특정 엔터티와 연결된 정보를 검색합니다.

예)

  • 3월 공급업체 A에서 어떤 문제가 발생했는가?

Global Search

전체 데이터셋에서 패턴을 분석합니다.

예)

  • 전체 공급망에서 반복적으로 발생하는 리스크는 무엇인가?

기존 RAG가 잘 처리하지 못했던 전체적인 패턴 분석을 수행할 수 있다는 점이 GraphRAG의 가장 큰 특징입니다.


Stanford 연구가 말하는 Graph 기반 AI

Stanford에서는 DSPy와 STORM 연구를 통해 AI를 하나의 모델이 아닌 여러 모듈이 연결된 시스템으로 바라봤습니다.

대표적인 AI 파이프라인은 다음과 같습니다.

  • Retriever
  • Reasoning
  • Verifier
  • Answer

또한 Knowledge Graph 연구에서는 다음과 같은 결론을 제시했습니다.

더 큰 모델보다 더 좋은 그래프 구조가 더 높은 성능을 만든다.

즉, 모델의 크기보다 데이터 구조가 AI 성능에 더욱 큰 영향을 줄 수 있다는 것입니다.


Anthropic은 Graph를 어떻게 활용할까?

Anthropic은 Graph Engineering이라는 이름의 제품을 제공하지는 않지만 Claude를 중심으로 Graph 기반 구조를 적극 활용하고 있습니다.

대표적인 활용 방식은 다음과 같습니다.

1. 문서에서 그래프 생성

Claude가 문서를 읽고 엔터티와 관계를 자동으로 추출합니다.

2. Graph Database 질의

사용자의 자연어 질문을 Cypher 또는 SPARQL과 같은 Graph Query로 변환하여 필요한 데이터를 조회합니다.

3. MCP 기반 연결

MCP(Model Context Protocol)를 이용해 Claude와 Graph Database를 지속적으로 연결하여 필요한 정보를 즉시 활용할 수 있도록 구성합니다.


Knowledge Graph의 핵심 개념

Knowledge Graph는 정보를 다음과 같은 Triple 형태로 저장합니다.

  • Subject
  • Relation
  • Object

예를 들면 다음과 같습니다.

  • Microsoft → 개발 → GraphRAG
  • GraphRAG → 비용 절감 → 85%
  • Anthropic → 개발 → Claude

이처럼 관계를 명확하게 저장하면 AI는 단순히 단어를 찾는 것이 아니라 관계를 기반으로 추론할 수 있습니다.


Graph Engineering 구축 과정

일반적인 Graph Engineering 파이프라인은 다음 순서로 진행됩니다.

  1. 원본 문서 수집
  2. 엔터티 추출
  3. 관계 추출
  4. 스키마 설계
  5. 중복 제거 및 정규화
  6. Graph Database 저장
  7. 검색 계층 구축
  8. LLM 연결
  9. 지속적인 그래프 업데이트

이 과정을 거쳐 Knowledge Graph가 지속적으로 확장되고 최신 상태를 유지할 수 있습니다.


Graph Engineering 활용 사례

Graph Engineering은 다양한 산업에서 활용될 수 있습니다.

기업 실사(Due Diligence)

기업, 투자자, 법인 관계를 그래프로 연결하여 리스크 분석을 수행합니다.

영업 인텔리전스

고객, 담당자, 이메일, 프로젝트 관계를 분석하여 영업 전략을 지원합니다.

개발 조직 관리

GitHub, Jira, Linear 데이터를 연결하여 장애 원인 분석과 릴리스 노트 자동화를 수행합니다.

연구 데이터 분석

논문, 연구자, 기관, 데이터셋 간의 관계를 분석하여 연구 동향을 파악합니다.

개인 지식 관리

노트, 이메일, 일정, 문서를 연결하여 개인 Knowledge Graph를 구축할 수 있습니다.


728x90

Graph Engineering이 중요한 이유

Graph Engineering은 기존 RAG를 완전히 대체하는 기술이라기보다 RAG의 한계를 보완하는 새로운 접근 방식입니다.

문서 검색 중심의 AI에서 관계 중심의 AI로 발전하면서, 복잡한 질의에 대한 추론 능력과 정보 활용도가 크게 향상될 수 있습니다.

Microsoft는 GraphRAG를 통해 Graph 기반 검색 구조를 제안했고, Stanford는 시스템 중심의 AI 설계를 연구했으며, Anthropic은 Claude와 Knowledge Graph를 연결하는 구조를 발전시키고 있습니다.

앞으로 AI 시스템은 단순히 많은 문서를 검색하는 것이 아니라, 데이터 간의 관계를 이해하고 활용하는 방향으로 발전할 가능성이 더욱 커질 것으로 기대됩니다.

300x250

https://x.com/Sprytixl/status/2078778799064584535

 

X의 Sprytix님(@Sprytixl)

Graph Engineering replaced RAG at Microsoft, Stanford and Anthropic. Here's how it works.

x.com

728x90
반응형
그리드형