본문 바로가기

ai

(4)
RAG(Retrieval-Augmented Generation)란 무엇인가? 심층 개념 분석 RAG (Retrieval-Augmented Generation)는 자연어 처리(NLP) 분야에서 텍스트 생성의 성능을 향상시키기 위해 고안된 방법입니다. RAG는 검색(Retrieval)과 생성(Generation) 모델을 결합하여, 방대한 데이터베이스에서 관련 정보를 검색하고, 이를 기반으로 자연스럽고 정확한 텍스트를 생성합니다. 이는 전통적인 언어 모델이 가진 한계를 극복하고, 보다 사실적이고 정보에 기반한 응답을 생성하는 데 유리합니다.RAG의 작동 방식은 다음과 같습니다:검색 단계:쿼리(질문이나 문장)를 받아서, 사전 준비된 문서 데이터베이스에서 가장 관련성이 높은 문서들을 검색합니다.이 단계에서 주로 사용하는 기술은 BM25, TF-IDF, Dense Retrieval(BERT 기반) 등이 있..
[Prompt Engineering] ReAct이란 무엇인가?!! ReAct(Reason + Act)는 대규모 언어 모델(LLM)의 추론 및 행동 능력을 향상시키는 프롬프트 엔지니어링 기법입니다. 인간의 사고 방식에서 영감을 얻은 ReAct는 LLM에게 명확한 추론 과정과 함께 작업을 수행하도록 지시합니다. 이를 통해 모델은 보다 정확하고 신뢰할 수 있는 결과를 생성할 수 있으며, 특히 상식 추론과 관련된 복잡한 작업에 효과적입니다.ReAct 작동 방식구분내용 행동 지시 먼저 사용자는 LLM에게 수행할 작업을 명확하게 지시합니다. 이 지침은 간단하고 명료하며 LLM이 쉽게 이해할 수 있는 언어로 작성되어야 합니다. 추론 과정 생성 LLM은 지시에 따라 작업을 완료하기 위한 단계별 추론 과정을 생성합니다. 이 추론 과정은 중간 단계와 결론을 포함하여 명확하고 논리적이어야..
MLOps란 무엇인가? 1) DevOps 탄생 배경과 MLOps의 중요성!DevOps라는 개념이 처음 소개되고 몇 년이 지난 지금, SW 개발자라면 DevOps라는 말을 한 번쯤은 들어 보았을 것이다. 더 나아가 대부분의 기업과 조직들이 DevOps 문화를 도입하기 위해 많은 노력을 하고 있고 이미 운영을 하고 있는 조직 또한 많이 존재하는 것으로 알고 있다. DevOps는 말 그대로 개발(Dev)과 운영(Ops)의 합성어이다. 즉 개발, IT운영, 품질, 보안등 다양한 영역의 업무를 빠르게 조율하고 협업할 수 있도록 하여 더욱 높은 품질의 제품을 지속적으로 신속하게 고객에게 전달하고자 하는데 목표를 두고 있다. 이와 같은 목표를 달성하기 위해 SW 엔지니어가 개발한 코드를 지속적으로 빌드하고 테스트 하며, 안정적이라고 판단된..
[Tensorflow] 학습 모델 저장하고 재사용하기 1. 모델 저장하기에 앞서 파일에 있는 데이터를 가져오는 것부터 알아보자. import tensorflow as tf import numpy as np data = np.loadtxt('file path', delimiter=',',unpack=True,dtype='float32') x_data = np.transpose(data[0:2]) y_data = np.transpose(data[2:]) [참고] numpy 라이브러리의 loadtxt함수를 이용하여 간단히 데이터를 읽어 올 수 있다. loadtxt의 unpack 매개 변수와 transpose함수는 읽어드린 데이터의 행과 열을 뒤바꿔주는 옵션과 함수이다. 특히 딥러닝에서는 다양한 학습 알고리즘을 적용하거나 행렬 연산을 효율적으로 하기 위해 데이터의..