본문 바로가기

Rag

 (27)
[LLM] 인공지능, 학습되지 않은 지식을 얻는 두 가지 비법: Fine Tuning과 RAG 개 인공지능, 특히 대형 언어 모델(LLM, Large Language Model)은 최근 몇 년 동안 많은 주목을 받고 있습니다. LLM은 방대한 양의 데이터를 학습하여 사람과 유사하게 언어를 이해하고 생성할 수 있습니다. 그러나 이러한 모델이 학습 과정에서 노출되지 않은 새로운 지식을 답변하고 습득할 수 있도록 하는 방법은 무엇일까요? 대표적인 방법으로 Fine Tuning(미세 조정)과 RAG(Retrieval-Augmented Generation)를 들 수 있습니다. 이번 글에서는 이 두 가지 방법을 초보자도 이해할 수 있도록 쉽게 설명하겠습니다.1. Fine Tuning(미세 조정) - LLM을 특정 지식으로 맞춤형 조정**Fine Tuning(미세 조정)**은 이미 학습된 대형 언어 모델을 특정한..
RAG(Retrieval-Augmented Generation)란 무엇인가? 심층 개념 분석 RAG (Retrieval-Augmented Generation)는 자연어 처리(NLP) 분야에서 텍스트 생성의 성능을 향상시키기 위해 고안된 방법입니다. RAG는 검색(Retrieval)과 생성(Generation) 모델을 결합하여, 방대한 데이터베이스에서 관련 정보를 검색하고, 이를 기반으로 자연스럽고 정확한 텍스트를 생성합니다. 이는 전통적인 언어 모델이 가진 한계를 극복하고, 보다 사실적이고 정보에 기반한 응답을 생성하는 데 유리합니다.RAG의 작동 방식은 다음과 같습니다:검색 단계:쿼리(질문이나 문장)를 받아서, 사전 준비된 문서 데이터베이스에서 가장 관련성이 높은 문서들을 검색합니다.이 단계에서 주로 사용하는 기술은 BM25, TF-IDF, Dense Retrieval(BERT 기반) 등이 있..
RAG란 무엇일까요? RAG는 Retrieval Augmented Generation의 약자로, 검색 증강 생성이라는 뜻입니다. 이는 **대규모 언어 모델(LLM)**의 성능을 향상시키기 위한 기술입니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 텍스트 생성, 번역, 질의응답 등 다양한 작업을 수행할 수 있습니다. 하지만 LLM은 학습 데이터 외부의 정보에 접근하지 못하고, 생성된 텍스트의 정확성과 신뢰성이 부족할 수 있습니다. RAG는 LLM의 부족한 부분을 검색 기술로 보완합니다. RAG는 LLM에게 질문을 주면, 먼저 검색 엔진을 사용하여 관련 정보를 검색합니다. 그리고 검색된 정보를 바탕으로 LLM이 텍스트를 생성합니다. 이렇게 하면 LLM이 학습 데이터 외부의 정보도 활용할 수 있고, 생성된 텍스트의 정확성과 ..

티스토리툴바