본문 바로가기

인공지능

 (142)
메타, 최신 오픈소스 AI 모델 ‘Llama 3.3 70B’ 출시 메타가 혁신적인 오픈소스 대형 언어 모델(LLM) Llama 3.3 70B를 공식 출시했습니다. 이번에 공개된 모델은 700억 개의 매개변수를 가지고 있지만, 성능 면에서는 기존의 대형 모델과 맞먹거나 일부 영역에서는 더 뛰어난 결과를 보였습니다. 특히, 비용 효율성과 접근성을 강조하며 AI 업계에 새로운 기준을 제시했습니다.Llama 3.3 70B의 특징1. 성능과 비용의 균형메타의 아메드 알-달(Ahmed Al-Dahl) 생성 AI 부사장은 이 모델을 두고 "405B 매개변수 모델과 비슷한 성능을 제공하면서도 실행은 훨씬 간단하고 비용도 효율적"이라고 밝혔습니다. 실제로 Llama 3.3은 최신 사후 훈련 기술과 온라인 선호도 최적화를 활용하여 뛰어난 성능을 발휘하면서도 토큰당 비용을 크게 낮췄습니다..
RAGCHECKER: RAG 시스템 평가의 새로운 표준 RAG (Retrieval-Augmented Generation) 시스템은 대규모 언어 모델(LLM)의 잠재력을 더욱 확장하여 외부 지식 기반을 활용함으로써 더 정확하고 맥락에 맞는 응답을 생성합니다. 하지만 이러한 시스템을 효과적으로 평가하고 진단하는 것은 상당한 도전 과제입니다.RAGCHECKER는 이러한 문제를 해결하기 위해 설계된 혁신적인 평가 프레임워크로, RAG 시스템의 성능을 심층적으로 분석하고 개선 방향을 제시할 수 있는 포괄적인 메트릭과 도구를 제공합니다.RAGCHECKER란 무엇인가요?RAGCHECKER는 Retrieval-Augmented Generation 시스템을 평가하고 진단하기 위해 설계된 자동화된 고급 평가 프레임워크입니다. 이를 통해 개발자와 연구자는 RAG 시스템의 성능을..
Tree of Thoughts: 인공지능의 새로운 문제 해결 패러다임 최근 대규모 언어 모델(LM, Large Language Model)은 다양한 작업에 적용되며 그 성능을 입증해왔습니다. 하지만 대부분의 LM은 토큰 단위로 좌에서 우로 순차적인 선택을 수행하는 auto-regressive 메커니즘에 의존합니다. 이는 단순한 작업에는 효과적일 수 있지만, 탐구와 전략적 결정이 필요한 복잡한 문제에서는 한계에 부딪힐 수 있습니다.이 한계를 극복하기 위해, 논문 *"Tree of Thoughts: Deliberate Problem Solving with LMs"*는 새로운 프레임워크인 **Tree of Thoughts (ToT)**를 제안합니다. ToT는 기존의 CoT (Chain of Thought)를 확장하여 모델이 문제를 해결할 때 다양한 경로를 탐구하고 더 정교한 결..
RAGCache: 대형 언어 모델(LLM) 시대의 성능 최적화를 위한 지식 캐싱의 혁신적 접근 대형 언어 모델(LLM)이 발전함에 따라, 이에 수반되는 컴퓨팅 리소스와 메모리 사용량도 급증하고 있습니다. 이로 인해 자연어 처리(NLP) 작업의 효율성을 높이기 위해 다양한 기술들이 개발되고 있습니다. 이번 글에서 다룰 'RAGCache'는 검색 기반 생성 모델의 성능을 획기적으로 향상시키기 위한 솔루션으로, RAG의 주요 문제들을 해결하고자 합니다.RAG란 무엇인가?RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 외부 지식 데이터베이스와 LLM을 결합하여 응답의 정확성과 관련성을 극대화하는 기법입니다. 예를 들어, GPT-4, LLaMA2와 같은 모델이 Wikipedia와 같은 외부 데이터베이스에서 정보를 검색하고 이를 사용해 더 나은 응답을 생성하는 방식입니다...
복잡한 문제 해결을 위한 새로운 접근법, Panel-of-Experts 프롬프트 기법 프롬프트 엔지니어링의 중요성인공지능 언어 모델(LLM)을 사용하는 동안 종종 느끼는 점이 있습니다. 간단한 질문에는 매우 만족스러운 답변을 얻을 수 있지만, 복잡한 문제에 대해서는 자주 부족하거나 틀린 답변을 제공한다는 점입니다. 이런 이유로 프롬프트 엔지니어링은 복잡한 문제 해결을 위해 매우 중요한 역할을 하게 됩니다. 좋은 프롬프트는 모델의 성능을 극대화할 수 있는 열쇠이며, 프롬프트의 작성 방식에 따라 모델의 답변 품질이 달라질 수 있습니다.생각의 사슬(CoT, Chain-of-Thought) 프롬프트 기법이란?복잡한 문제를 해결하기 위해 처음 사용된 접근 방식 중 하나는 '생각의 사슬(Chain-of-Thought, CoT)' 프롬프트 기법입니다. 이 기법은 모델이 문제를 단계별로 풀어가도록 유도..
차세대 AI 에이전트의 시작, OpenAI의 Operator가 온다! AI 에이전트란 무엇인가요?AI 에이전트는 사용자의 명령에 따라 컴퓨터에서 작업을 수행하는 자율형 소프트웨어 시스템입니다. 기존의 인공지능 기술이 단순히 대화나 질문에 대한 응답을 제공하는 것에 그쳤다면, AI 에이전트는 컴퓨터의 하드웨어와 소프트웨어 자원을 직접적으로 제어하며, 독립적인 작업 수행과 복잡한 절차의 자동화를 가능하게 합니다. 이와 같은 발전은 사용자가 단순하고 반복적인 작업에서 벗어나 더 창의적이고 중요한 업무에 집중할 수 있는 기회를 제공합니다.AI 에이전트는 단순히 사용자의 도구 역할을 넘어, 사용자와 협력하여 복잡한 문제를 해결하는 디지털 동반자가 될 수 있습니다. 예를 들어, AI 에이전트는 이메일을 작성하거나 회의 일정을 조율하고, 대량의 데이터를 분석하여 인사이트를 도출하는 등..
Cosmopedia: 대규모 사전 훈련 데이터셋 구축 방법론 자연어 처리 분야의 최근 발전은 대형 언어 모델(LLM)의 학습을 위해 합성 데이터를 점점 더 많이 활용하고 있습니다. 그러나 대규모 사전 훈련 데이터셋을 구축하는 과정은 여전히 만만치 않은 도전 과제입니다. 본 포스트에서는 Huggingface 팀이 제안한 Cosmopedia 프로젝트를 통해 이러한 도전 과제들을 해결하고, 대규모 사전 훈련 데이터셋을 구축하는 데 사용된 방법론을 설명하고자 합니다.SELF-INSTRUCT와 Evol-Instruct의 한계SELF-INSTRUCT와 Evol-Instruct 방법론은 인간의 개입 없이 자동으로 파인 튜닝 데이터셋을 생성할 수 있는 능력으로 많은 주목을 받았습니다. 그러나 이러한 접근 방식은 파인 튜닝에 필요한 데이터를 생성하는 데 한정되어 있으며, 다양성이..
LLM-as-a-Judge: AI를 이용한 AI 평가 인공지능이 단순히 응답을 생성하는 것을 넘어, 스스로와 다른 모델의 출력물까지 비판적으로 평가하는 패러다임을 상상해보세요. 이것이 바로 LLM-as-a-Judge (대형 언어 모델을 판사로 활용)의 기본 개념입니다. 이 방법은 대형 언어 모델(LLM)을 효율적으로 대규모로 평가할 수 있는 메커니즘으로 주목받고 있으며, 노동 집약적이고 비용이 많이 드는 인간 평가의 필요성을 줄이고 있습니다.이 글에서는 LLM-as-a-Judge의 개념, 장점, 운영 메커니즘, 한계점 및 AI 평가 방법론을 재정의할 잠재력에 대해 탐구해보겠습니다.LLM-as-a-Judge의 개념적 프레임워크LLM-as-a-Judge는 고도화된 LLM(예: GPT-4)을 활용해 다른 언어 모델들이 생성한 출력물의 품질을 평가하는 것으로, 인..

티스토리툴바