본문 바로가기

Rag

 (27)
[Dify RAG #2] LLM 검색 정확도를 좌우하는 인덱싱 설정 – High-Quality와 Economical, 무엇이 다를까? 검색 정확도가 왜 이렇게 낮을까? 인덱싱 설정이 문제일 수 있습니다LLM(대규모 언어 모델)을 도입해 지식베이스 검색 시스템을 구축하고 있는 IT 담당자라면 이런 경험이 있을 겁니다.검색 기능을 열심히 만들었는데, 막상 사용해보니 원하는 정보를 정확히 찾아주지 못해서 답답했던 적 말입니다.이럴 때 "인덱싱 방식이 잘못됐을 수 있다"는 이야기를 듣지만,High-Quality, Economical, Vector Search, Full-Text Search, Hybrid Search 같은 어려운 용어들 때문에어떤 설정을 선택해야 할지 막막해지는 경우가 많습니다.저도 처음엔 그랬습니다. 검색 정확도가 낮아서 클라이언트 불만이 터졌고,결국 인덱싱 방식과 검색 설정을 하나하나 다시 뜯어고치며 최적화해야 했죠.이 글..
[Dify RAG #1] AI 챗봇 정확도를 높이는 비결 – Dify 지식베이스와 청킹(chunking) 설정 완전 정복 사내 문서와 FAQ를 AI 챗봇에 넣었는데, 자꾸 엉뚱한 답변이 돌아오나요?최신 자료를 반영했는데도 여전히 오래된 정보를 기반으로 틀린 답을 내놓나요?이런 문제는 대부분 ‘데이터 분할 방식’, 즉 ‘청킹(chunking)’ 설정에서 시작됩니다.AI가 문서를 잘 활용하게 만들려면, 지식베이스와 청킹 과정을 제대로 이해하는 게 핵심입니다.이 글에서는 Dify의 지식베이스 시스템과 청킹 설정법을 알기 쉽게 설명합니다.읽고 나면, 당신의 AI 챗봇이 더 정확하게 문서를 이해하고, 믿을 만한 답변을 하도록 설정할 수 있을 겁니다.RAG와 지식베이스: AI가 문서를 활용하는 방식요즘 AI 챗봇은 GPT 같은 대규모 언어 모델(LLM)을 활용합니다.그런데 이런 모델은 사전에 학습한 데이터에 기반해 답변합니다.그래서 ..
Redis Vector Library를 활용한 RAG 파이프라인 구축: AI 검색 시스템 만들기 📌 AI 검색을 더 똑똑하게 만드는 방법?요즘 AI 챗봇과 검색 시스템이 빠르게 발전하고 있지만, 여전히 정확한 정보를 찾는 것이 쉽지 않습니다. 기존의 AI 모델은 문맥을 이해하는 데 한계가 있고, 훈련된 데이터 외의 정보는 제대로 활용하지 못하는 경우가 많습니다.여기서 RAG(Retrieval Augmented Generation) 기술이 등장합니다. RAG는 벡터 검색(Vector Search)과 대형 언어 모델(LLM)을 결합하여 AI가 보다 정교한 답변을 제공할 수 있도록 도와줍니다.이 글에서는 Redis Vector Library(RedisVL)를 활용한 RAG 파이프라인 구축 방법을 설명합니다. RedisVL을 이용하면 벡터 검색을 쉽게 구현할 수 있으며, OpenAI API와 결합하여 실..
RAG 대신 CAG? 캐시 증강 생성 기술이 차세대 LLM을 바꾼다 기술이 발전함에 따라 대형언어모델(LLM)의 컨텍스트 창이 확대되며, RAG(검색 증강 생성)보다 더 빠르고 효율적인 접근 방식인 CAG(캐시 증강 생성)가 주목받고 있습니다. CAG는 검색의 복잡성을 줄이고, 모델의 성능과 정확도를 극대화할 수 있는 대안으로 부상하고 있는데요. 이번 블로그에서는 RAG와 CAG의 차이점, CAG의 작동 방식, 그리고 왜 이 기술이 주목받고 있는지 알아보겠습니다.1. RAG와 CAG의 차이점RAG(검색 증강 생성)란?RAG는 외부 데이터베이스에서 검색한 정보를 LLM이 통합하여 응답을 생성하는 방식입니다. 하지만 RAG는 검색 과정에서 다음과 같은 문제를 발생시킬 수 있습니다:검색 지연: 검색에 시간이 소요됩니다.문서 선택 오류: 불필요한 정보를 검색하거나 중요한 정보를..
RAGCHECKER: RAG 시스템 평가의 새로운 표준 RAG (Retrieval-Augmented Generation) 시스템은 대규모 언어 모델(LLM)의 잠재력을 더욱 확장하여 외부 지식 기반을 활용함으로써 더 정확하고 맥락에 맞는 응답을 생성합니다. 하지만 이러한 시스템을 효과적으로 평가하고 진단하는 것은 상당한 도전 과제입니다.RAGCHECKER는 이러한 문제를 해결하기 위해 설계된 혁신적인 평가 프레임워크로, RAG 시스템의 성능을 심층적으로 분석하고 개선 방향을 제시할 수 있는 포괄적인 메트릭과 도구를 제공합니다.RAGCHECKER란 무엇인가요?RAGCHECKER는 Retrieval-Augmented Generation 시스템을 평가하고 진단하기 위해 설계된 자동화된 고급 평가 프레임워크입니다. 이를 통해 개발자와 연구자는 RAG 시스템의 성능을..
RAGCache: 대형 언어 모델(LLM) 시대의 성능 최적화를 위한 지식 캐싱의 혁신적 접근 대형 언어 모델(LLM)이 발전함에 따라, 이에 수반되는 컴퓨팅 리소스와 메모리 사용량도 급증하고 있습니다. 이로 인해 자연어 처리(NLP) 작업의 효율성을 높이기 위해 다양한 기술들이 개발되고 있습니다. 이번 글에서 다룰 'RAGCache'는 검색 기반 생성 모델의 성능을 획기적으로 향상시키기 위한 솔루션으로, RAG의 주요 문제들을 해결하고자 합니다.RAG란 무엇인가?RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 외부 지식 데이터베이스와 LLM을 결합하여 응답의 정확성과 관련성을 극대화하는 기법입니다. 예를 들어, GPT-4, LLaMA2와 같은 모델이 Wikipedia와 같은 외부 데이터베이스에서 정보를 검색하고 이를 사용해 더 나은 응답을 생성하는 방식입니다...
기존 RAG의 한계를 넘어: GraphRAG로 확장된 LLM 데이터 분석의 새로운 시대 대형 언어 모델(LLM)의 주요 도전 과제 중 하나는 학습하지 않은 데이터에도 문제 해결 능력을 적용하는 것입니다. 이는 새로운 데이터 탐구의 가능성을 열어주며, 데이터셋의 맥락과 기반에 따라 주제나 의미론적 개념을 식별할 수 있는 능력을 제공합니다. Microsoft Research에서 개발한 GraphRAG는 이러한 LLM의 능력을 확장하여 문서 분석 성능을 크게 향상시키는 혁신적인 접근 방식입니다.기존 RAG 방식의 한계와 GraphRAG의 필요성Retrieval-Augmented Generation(RAG)은 사용자 쿼리에 따라 정보를 검색하고 이를 AI가 생성한 응답에 참고하는 기술입니다. 대부분의 RAG 접근법은 벡터 유사성을 검색 기법으로 사용하지만, 기존 RAG 방식에는 여러 한계가 존재합..
반복의 힘: RAG 시스템의 Loop 패턴과 인간 사고의 유사성 반복은 간단해 보이지만, 인공지능의 성능 향상에서 매우 중요한 역할을 합니다. 오늘은 Retrieval-Augmented Generation(RAG) 시스템의 핵심 개념 중 하나인 Loop 패턴에 대해 이야기해보겠습니다. 이 패턴은 인공지능이 특정 문제를 해결하기 위해 반복적으로 정보를 검색하고 생성하는 과정을 포함하며, 이를 통해 보다 정확하고 효율적인 결과를 도출할 수 있습니다.Loop 패턴이란?Loop 패턴은 RAG 시스템 내에서 검색과 생성 단계를 반복하며 높은 정확도를 달성하는 방법입니다. 일반적으로 Query 입력, 검색(Retrieve), LLM(대형 언어 모델) 생성, 그리고 최종적으로 Judge(판단) 단계가 포함됩니다. 이 Judge 단계는 모델이 생성한 결과를 평가하여, 필요할 경우 ..

티스토리툴바