text splitters (1) 썸네일형 리스트형 Langchain Document Transformers: AI 문서 처리의 핵심 기술 알아보기 1. Data Connection의 전체 구조인공지능(AI)을 활용한 자연어 처리와 문서 처리 작업에서는 데이터를 효과적으로 관리하고 처리하는 것이 매우 중요합니다. 이를 위해 Langchain은 데이터 연결(Data Connection)의 전체 구조를 체계적으로 설계하였습니다. 이 구조는 다음과 같은 주요 구성 요소들로 이루어져 있습니다:Document Loaders: 다양한 소스에서 문서를 불러오는 역할을 합니다. 웹 페이지, 데이터베이스, 파일 시스템 등에서 문서를 로드하여 후속 작업을 위해 준비합니다.Document Transformers: 로드된 문서를 필요한 형태로 변환하는 단계입니다. 여기에는 문서 분할, Q&A 형식으로의 변환, 중복 문서 삭제 등이 포함됩니다. 이 과정은 원본 데이터를 보.. 이전 1 다음
