Query Transformation (2) 썸네일형 리스트형 새로운 도메인 검색의 해답, HyDE: 가상의 문서로 RAG 성능을 향상시키다! 기존 검색의 한계와 HyDE의 탄생 배경기존의 Embedding 기반 검색 시스템, 특히 RAG(Retrieval-Augmented Generation) 파이프라인에서 활용되는 유사도 검색은 대부분 학습된 데이터 세트를 바탕으로 이루어집니다. 하지만 데이터의 도메인이 기존 학습 데이터와 다를 경우, 검색 성능이 저하되는 문제가 발생할 수 있습니다. 특히 새로운 도메인에 대한 검색에서는 사용자의 질문이 기존 데이터와 연결되지 않아 검색 결과가 부정확해지거나 적합한 맥락을 제공하지 못할 수 있습니다.이러한 문제를 해결하기 위해 등장한 것이 **HyDE(Hypothetical Document Embeddings)**입니다. HyDE는 사용자의 질문을 토대로 가상의 문서를 생성하여, 이를 검색의 입력으로 사용함.. Advanced RAG의 등장과 Naive RAG의 한계: 왜 우리는 더 나은 솔루션을 필요로 하는가? Retrieval-Augmented Generation (RAG)은 언어 모델의 성능을 크게 향상시킬 수 있는 기술로, 최근 AI 연구와 응용에서 중요한 위치를 차지하고 있습니다. RAG의 출현은 단순히 데이터를 학습하는 언어 모델을 넘어, 방대한 외부 지식 데이터베이스와 결합하여 필요한 정보를 실시간으로 검색하고, 이를 바탕으로 보다 정확한 답변을 생성하는 능력을 제공하려는 시도에서 비롯되었습니다. 특히 의료, 법률 등 높은 정확성과 신뢰성이 요구되는 분야에서 RAG는 필수적인 기술로 자리 잡고 있습니다.그러나 Naive RAG에는 여러 한계가 존재합니다. 기본적인 RAG 시스템에서는 단순한 검색과 생성의 반복으로 인해 불필요한 데이터 중복과 노이즈가 발생할 수 있습니다. 특히, 의미론적 유사성을 고려.. 이전 1 다음
