본문 바로가기

인공지능

 (167)
NVIDIA의 새로운 도전: 700억 개의 매개변수로 GPT-4o와 Claude 3.5를 능가하다 NVIDIA가 META의 Llama 3.1을 기반으로 한 새로운 언어 모델 'Nemotron'을 발표하며 GPT-4o 및 Claude 3.5와 같은 최신 언어 모델들과의 경쟁에서 우위를 점하고 있다. 이 모델은 매개변수가 700억 개에 불과하지만, 최신 벤치마크에서 우수한 성과를 보이며 업계의 주목을 받고 있다. 본 논문에서는 NVIDIA Llama 3.1 Nemotron의 주요 특성과 벤치마크 성능을 논의한다.Llama 3.1 Nemotron 모델의 개발 배경NVIDIA는 META의 Llama 3.1 70B를 기반으로 'Llama-3.1-Nemotron-70B-Instruct'라는 대규모 언어 모델을 공식적으로 출시하였다. Nemotron 모델은 NVIDIA의 미세 조정을 통해 개발되었으며, 생성된 응..
Devin AI: 소프트웨어 개발의 미래를 열다 Cognition Labs: 선구적인 개발자들이 설립한 스타트업Cognition Labs는 2023년 11월 Scott Wu, Walden Yan, Steven Hao에 의해 설립된 AI 스타트업으로, 매우 뛰어난 경쟁 프로그래머들로 구성된 팀입니다. 설립자들은 모두 국제 정보 올림피아드(IOI)에서 금메달을 수상한 경험이 있어 그들의 전문성을 입증하고 있습니다. Cognition Labs의 팀은 높은 수준의 문제 해결 능력과 알고리즘 개발 기술을 보유하고 있으며, 이러한 역량을 바탕으로 AI 분야에서 새로운 가능성을 모색하고 있습니다. 초기에는 암호화폐 프로젝트에 집중했으나, ChatGPT의 성공과 실리콘밸리에서 AI 트렌드가 확산되면서 AI 개발로 방향을 전환하게 되었고, 결국 Devin AI를 탄생..
SW 엔지니어를 대체하기 위한 AI 개발: SWE-Bench를 통한 실전 GitHub 문제 해결 능력 평가 언어 모델(LLM)의 성능이 급속히 발전하면서 이를 정확하게 평가하는 방법론의 필요성이 대두되었습니다. 기존의 벤치마크는 언어 모델의 능력을 충분히 반영하지 못하고 있으며, 실전 문제를 다룰 수 있는 보다 도전적인 평가 기준이 요구됩니다. 이러한 요구에 부응하기 위해 등장한 SWE-Bench는 실전 소프트웨어 엔지니어링을 위한 현실적이고 지속 가능한 테스트 환경을 제공하여 언어 모델의 한계를 평가하고 향후 발전 방향을 제시합니다.SWE-Bench의 개요SWE-Bench는 실제 소프트웨어 엔지니어링 문제를 다루는 언어 모델 평가 프레임워크로, GitHub의 12개 인기 Python 오픈소스 저장소에서 가져온 2,294개의 실제 문제로 구성됩니다. 이 문제들은 주로 버그 보고나 새로운 기능 요청과 관련된 G..
Langchain으로 LLM 효율 높이기: 비용 절감과 응답 속도 향상을 위한 캐시 활용법 캐시(Cache)란 무엇인가요?캐시는 자주 사용되는 데이터나 연산 결과를 임시로 저장해두어, 동일한 요청이 있을 때 다시 계산하지 않고 저장된 데이터를 반환하는 기술입니다. 이를 통해 데이터를 빠르게 가져올 수 있으며, 반복적인 연산을 줄여 리소스 사용량을 최적화할 수 있습니다.LLM 애플리케이션에 캐시를 적용하면 얻을 수 있는 이점대규모 언어 모델(LLM)을 사용할 때 동일한 쿼리나 유사한 질문이 반복적으로 들어올 수 있습니다. 매번 동일한 결과를 생성하는 대신 캐시된 결과를 반환하면 비용 절감과 응답 속도 향상이라는 두 가지 큰 이점을 얻을 수 있습니다.1. 비용 절감LLM 모델은 토큰을 처리할 때마다 비용이 발생합니다. 동일한 질문을 반복적으로 입력할 경우 매번 API를 호출하면 비용이 계속 누적됩..
적은 자원으로도 모델의 재학습이 가능하다? Unsloth로 효율적인 CPT 구현하기 머신러닝에서 모델을 업데이트하거나 새로운 도메인의 지식을 추가하기 위해 파인튜닝(fine-tuning) 기법을 많이 사용합니다. 그러나 기존의 파인튜닝 기법들은 많은 자원이 필요하거나 한계가 뚜렷했는데요, 특히 LoRA와 같은 PEFT(Parametric Efficient Fine-Tuning) 기법은 모델의 일부만 학습하기 때문에 자원의 효율성은 좋지만 한계도 명확합니다. 이러한 문제를 해결하기 위해 최근 Unsloth라는 솔루션이 등장했는데, 적은 자원으로도 모델의 성능을 효율적으로 개선할 수 있어 주목받고 있습니다.이번 글에서는 기존 파인튜닝 방식의 한계를 짚어보고, Unsloth가 어떻게 Continued Pre-Training(CPT)을 효율적으로 수행하는지, 실제 예시를 통해 살펴보겠습니다. ..
CPU에서도 거대한 언어 모델을 가볍게! Microsoft의 혁신적 오픈소스 프레임워크, bitnet.cpp bitnet.cpp이란 무엇인가?bitnet.cpp는 Microsoft에서 개발한 오픈소스 프레임워크로, CPU에서 대규모 언어 모델(LLM)을 효율적으로 실행하기 위해 1비트 양자화를 사용합니다. 기존의 32비트 또는 16비트로 표현된 가중치를 1비트로 줄여 모델 크기를 16~32배 축소하면서도 성능을 유지할 수 있습니다. 이로써 비싼 GPU나 고사양 하드웨어 없이도 대규모 모델을 구동할 수 있는 가능성을 제시합니다. bitnet.cpp는 특히 ARM CPU에서 1.375.07배, x86 CPU에서는 2.376.17배의 속도 향상을 보여줍니다. 이러한 기술 덕분에 고성능 AI 모델을 일반적인 데스크톱이나 노트북에서도 쉽게 실행할 수 있는 환경이 마련되었습니다.bitnet.cpp의 작동 방식1. 모델 로..
최신 AI 기술의 진화: Qwen 2.5, 오픈소스 LLM의 새로운 강자 AI 기술이 발전함에 따라, 대규모 언어 모델(LLM)은 이제 더 이상 미래의 이야기가 아닙니다. 특히 Qwen 2.5는 그 중에서도 탁월한 성능을 자랑하며, AI 연구와 개발에 새로운 이정표를 세우고 있습니다. Qwen 2.5는 중국의 거대 클라우드 서비스 제공업체인 Alibaba Cloud에서 개발한 최신 LLM으로, 특히 오픈소스 모델로써 개발자 커뮤니티에서 큰 주목을 받고 있습니다.이번 블로그에서는 Qwen 2.5가 무엇인지, 어떤 점에서 우수한 성능을 발휘하는지, 그리고 이 모델이 가진 다양한 특징과 사용 방법을 살펴보겠습니다.Qwen 2.5란 무엇인가?Qwen 2.5는 Alibaba Cloud의 Qwen 팀에서 개발한 최신 대규모 언어 모델로, 2024년 가장 주목받는 AI 기술 중 하나입니다..
Instruct Model: 대화형 인공지능의 미래를 엿보다 Base LLM Model이란?Base LLM (Large Language Model)은 방대한 양의 인터넷 데이터로 학습된 언어 모델로서, 다양한 소스에서 수집된 데이터(예: 책, 학술 기사, 웹사이트 텍스트 등)를 활용하여 언어의 패턴, 문법, 의미를 학습합니다. 이러한 대규모 학습 과정을 통해 LLM은 언어를 이해하고 생성하는 데 필요한 풍부한 언어적 지식을 축적하게 되며, 광범위한 언어 작업을 수행할 수 있는 능력을 갖추게 됩니다. 이로써 콘텐츠 생성, 질의 응답, 요약 등 다양한 언어 처리 작업에 적용될 수 있습니다.Base LLM Model은 주로 비지도 학습 방식을 통해 훈련됩니다. 이는 데이터에 별도의 주석이나 레이블을 제공하지 않고 모델에 원문 그대로 제공하여, 모델이 스스로 언어의 규칙..

티스토리툴바