본문 바로가기

인공지능

 (167)
혁신적인 정보 탐색의 진화: Perplexity의 '내부 지식 검색'과 '스페이스'를 소개합니다 현대 사회에서는 정보가 곧 경쟁력이자, 업무 효율성을 극대화하는 것이 필수적인 요구입니다. Perplexity는 이러한 정보 탐색의 패러다임을 근본적으로 혁신하기 위해 새로운 도구들을 제시합니다. 내부 데이터와 외부 정보를 통합하여 검색할 수 있는 '내부 지식 검색(Internal Knowledge Search)'과 팀 단위 협업을 가능케 하는 '스페이스(Spaces)'가 바로 그 핵심입니다.내부 지식 검색: 웹과 내부 파일을 통합한 정보 접근Perplexity는 사용자가 필요로 하는 정보를 신속하고 효율적으로 탐색하는 AI 기반의 검색 서비스로 많은 호평을 받고 있습니다. 사용자들이 지속적으로 요청해 온 기능 중 하나는 웹 자료와 내부 파일을 함께 검색하는 기능이었습니다. 이제 Perplexity Pr..
가난한 자의 파인튜닝 솔루션: Unsloth로 효율적인 모델 튜닝하기 파인튜닝의 세계에서 한정된 자원으로도 최대의 성과를 내기란 쉽지 않습니다. 오늘은 "가난한 자의 파인튜닝 솔루션"이라 불리는 Unsloth에 대해 알아보겠습니다. 이 도구는 고성능 GPU 없이도 언어 모델을 효율적으로 파인튜닝할 수 있게 해주는 멋진 툴입니다. 파인튜닝의 효율을 극대화하기 위해 어떤 기술들이 사용되었는지, 그리고 어떻게 활용할 수 있는지 살펴보겠습니다.Unsloth란 무엇인가?Unsloth는 파인튜닝 효율화를 목표로 하는 툴로, Michael과 Daniel Han 형제가 개발한 프로젝트입니다. 적은 자원으로도 강력한 성능을 발휘할 수 있도록 설계된 이 도구는 LLM(대형 언어 모델)의 파인튜닝 과정에서 필요한 메모리 사용량을 줄이고 학습 속도를 크게 향상시킵니다. Unsloth는 NVID..
AI 에이전트 협업의 미래를 여는 OpenAI의 Swarm 프레임워크 OpenAI는 AI 에이전트 간의 상호 작용과 협업을 향상시키기 위해 새롭게 Swarm이라는 혁신적인 프레임워크를 공개했습니다. 이 프레임워크는 개발자가 복잡한 작업을 자율적으로 조정할 수 있는 방법에 큰 도약을 이뤄내며, 다양한 산업에서 더 정교한 애플리케이션을 구현할 수 있는 길을 열었습니다. 이번 글에서는 Swarm의 주요 특징, 기능, 그리고 AI 프로젝트에 어떻게 활용될 수 있는지에 대해 자세히 알아보겠습니다.Swarm이란 무엇인가?Swarm은 오픈 소스 경량 프레임워크로, 여러 AI 에이전트들이 최소한의 인간 개입으로 복잡한 작업을 수행하도록 설계되었습니다. 이 프레임워크는 **에이전트(Agents)**와 **핸드오프(Handoffs)**라는 두 가지 주요 구성 요소로 이루어져 있습니다. 각 ..
오픈소스 멀티모달 모델 ARIA: 텍스트, 이미지, 비디오, 코드를 모두 이해하는 차세대 AI 2024년 10월, Rhymes AI는 최초의 오픈소스 멀티모달 네이티브 Mixture-of-Experts(MoE) 모델인 ARIA를 공개하였습니다. 본 글에서는 ARIA의 아키텍처, 학습 과정, 성능, 그리고 다양한 응용 가능성에 대해 심도 있게 분석하겠습니다. ARIA는 그 혁신적인 구조와 학습 방법을 통해 AI 모델의 새로운 표준을 제시하고 있으며, 이를 기반으로 한 여러 응용 분야에서 매우 유망한 결과를 보여주고 있습니다.ARIA란 무엇인가?ARIA는 텍스트, 이미지, 비디오, 코드와 같은 다양한 입력 모달리티를 처리하고 이해할 수 있도록 설계된 대형 언어 모델입니다. Mixture-of-Experts 구조를 채택하여 여러 데이터 유형을 효율적으로 처리하며, 이를 통해 멀티모달 데이터를 네이티브로..
적은 자원으로 대형 AI 모델을 훈련시킨다 - QLoRA의 혁신적인 기술 QLoRA란 무엇인가?QLoRA는 딥러닝 모델의 경량화 기법 중 하나로, 대형 언어 모델(LLM)을 제한된 자원으로 효율적으로 훈련시키기 위해 개발된 방법론입니다. 기존의 경량화 방법인 LoRA(Low-Rank Adaptation)에 4-bit NormalFloat, Double Quantization, Paged Optimization 기술을 추가하여 모델의 크기를 줄이고, 필요한 GPU 메모리 용량을 획기적으로 감소시킨 것이 특징입니다. 이를 통해 QLoRA는 대형 모델을 상대적으로 적은 하드웨어 자원으로도 효과적으로 학습시킬 수 있는 가능성을 제공합니다.QLoRA의 등장으로 인해 이제 대형 모델의 학습이 반드시 거대한 컴퓨팅 자원을 필요로 하지 않는다는 점에서 연구 및 개발의 접근성이 크게 향상되었..
거대한 AI 모델을 작은 장치로? LLM과 Quantization의 모든 것 딥러닝의 발전은 급속도로 이루어지고 있으며, 그에 따라 모델의 규모와 복잡성 또한 기하급수적으로 증가하고 있습니다. 특히 대규모 언어 모델(LLM, Large Language Models)과 같은 거대한 모델들이 등장하면서, 이러한 모델을 실제로 활용 가능한 형태로 변환하기 위한 다양한 최적화 기법들이 연구되고 있습니다. 그중에서도 특히 주목받고 있는 기술이 바로 '양자화(Quantization)'입니다. 본 글에서는 Quantization의 개념, 필요성, 그리고 유형 및 적용 방식에 대해 심층적으로 살펴보고자 합니다.Quantization이란 무엇인가?Quantization은 딥러닝 모델의 파라미터를 더 낮은 정밀도의 비트로 매핑하는 과정입니다. 즉, 원래 높은 정밀도를 가진 수치 데이터(예: 32비..
MCQA: 언어 모델 이해를 위한 핵심 평가 방법 MCQA(Multiple-Choice Question Answering)는 언어 모델의 이해력과 추론 능력을 평가하는 데 필수적인 도구로, 이러한 평가 방식을 통해 모델의 지식 수준과 문제 해결 능력을 정량적으로 측정할 수 있습니다. 이는 여러 선택지 중 올바른 답을 선택하는 문제 형식으로, 언어 모델의 성능을 평가하고 개선하는 데 있어 중요한 역할을 수행합니다.MCQA의 목적은 크게 세 가지로 나눌 수 있습니다.1. 모델 성능 평가MCQA는 대형 언어 모델(LLM)의 이해력과 추론 능력을 정량적으로 평가하는 데 사용됩니다. 다양한 주제와 난이도의 질문을 통해 모델이 얼마나 정확하게 문제를 해결할 수 있는지를 평가합니다. 예를 들어, 과학, 역사, 수학 등의 특정 분야에서 모델이 얼마나 깊이 있는 이해를..
RAG의 완성, Post Retrieval로 검색 정확도 극대화하는 방법들! Post Retrieval: 검색 후에도 이어지는 정교한 최적화RAG(Retrieval-Augmented Generation)에서 Post Retrieval은 이름 그대로 Retrieval 단계 이후에 수행되는 과정을 의미합니다. Retrieval 단계에서 추출된 문서들을 기반으로, 더욱 정확한 결과를 얻기 위해 후속 작업을 수행합니다. 이 과정은 검색의 정확도를 한층 더 높이며, 사용자가 원하는 답변을 더욱 정밀하게 제공합니다. 이번 글에서는 Post Retrieval의 주요 기법인 Reranker, Context Reorder, Compressor에 대해 자세히 알아보겠습니다.1. Reranker: 정교한 분석으로 정확도를 높이다Reranker란?Reranker는 Query와 Document 쌍의 관..

티스토리툴바