딥러닝 (7) 썸네일형 리스트형 RAG란 무엇일까요? RAG는 Retrieval Augmented Generation의 약자로, 검색 증강 생성이라는 뜻입니다. 이는 **대규모 언어 모델(LLM)**의 성능을 향상시키기 위한 기술입니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 텍스트 생성, 번역, 질의응답 등 다양한 작업을 수행할 수 있습니다. 하지만 LLM은 학습 데이터 외부의 정보에 접근하지 못하고, 생성된 텍스트의 정확성과 신뢰성이 부족할 수 있습니다. RAG는 LLM의 부족한 부분을 검색 기술로 보완합니다. RAG는 LLM에게 질문을 주면, 먼저 검색 엔진을 사용하여 관련 정보를 검색합니다. 그리고 검색된 정보를 바탕으로 LLM이 텍스트를 생성합니다. 이렇게 하면 LLM이 학습 데이터 외부의 정보도 활용할 수 있고, 생성된 텍스트의 정확성과 .. 프롬프트 엔지니어링 이란 무엇인가? 프롬프트 엔지니어링(Prompt Engineering)은 인공지능 모델의 사용에 있어 중요한 요소로, 입력에 대한 효과적인 가이드를 제공하는 과정으로 정의됩니다. 이는 사용자가 입력하는 정보를 조정하고 개선함으로써, 인공지능 모델이 원하는 결과를 산출하기 위한 방법론입니다. 이러한 프롬프트 엔지니어링은 특정 목적을 가지고 수행될 수 있으며, 그 중 몇 가지를 소개하면 다음과 같습니다: 첫째로, 명확한 지시 제공이 있습니다. 이는 모델이 원하는 유형의 답변을 얻기 위해 사용자가 입력에 명확하고 구체적인 지시를 포함하는 것을 의미합니다. 예를 들어, "번역해주세요: '안녕하세요'"라는 구체적인 지시를 통해 번역을 요청하는 프롬프트를 사용할 수 있습니다. 이렇게 명확한 지시를 제공함으로써, 모델은 사용자의 의.. [Tensorflow] MNIST 학습해보기!! MNIST 데이터셋을 신경망으로 학습시키며 딥러닝에 대한 맛을 보자. 인공지능에 관심이 있는 분이라면 MNIST를 처음 듣는 사람은 없을 것이다. 하지만 인공지능 분야에 첫걸음을 때는 사람을 위해 간략히 MNIST에 대해 설명하고 넘어가도록 하자. MNIST는 손으로 쓴 숫자들의 이미지를 모아놓은 데이터 셋으로 0~9까지의 수를 28 * 28픽셀 크기의 이미지로 구성해 놓은 것이다. MNIST 학습은 머신러닝을 공부하는 사람이라면 누구가 거쳐 가는 프로그래밍에 Hello World라고도 불리운다. 지금부터 텐서플로에 내장된 MNIST 데이터를 기반으로 학습하는 과정을 살펴보자. 1. 데이터 가져오기 가장 먼저 텐서플로를 임포트하고 텐서플로에 대장된 tensorflow.example.tutorials.mn.. [Tensorflow] 텐서보드 사용하기 현재 딥러닝 라이브러리와 프레임워크는 너무나 많이 존재한다. 그 중 유독 텐서플로를 사용하는 것이 급증한데에는 텐서보드의 역할도 크다고 한다. 딥러닝을 현업에서 활용하다 보면 학습하는데 걸리는 시간이 아주 상당하다. 따라서 모델을 효과적으로 실험하려면 학습 과정을 추적하는 일이 매우 중요해진다. 하지만 학습 과정을 추적하는데에도 별도의 추가 작업이 많이 필요한 실정이다. 이러한 개발자의 어려움을 덜어주고자 텐서플로는 텐서보드라는 도구를 기본적으로 제공하고 있다. 텐서보드는 학습하는 중간중간 손실값이나 정확도 또는 결과물로 나온 이미지나 사운드 파일들을 다양한 방식으로 시각화해 보여준다. 더 놀라운 점은 이러한 도구를 사용하는데 코드 몇줄만 추가하면 된다는 것이다. 1. 데이터를 읽고 필요한 변수를 pla.. Microsoft Congnitive Toolkit 알아보기! Microsoft Cognitive Toolkit (CNTK)는 마이크로 소프트에 오픈소스 딥러닝 툴킷이다. 올해에 가장 HOT한 IT분야는 누가 뭐라고 해도 AI 분야인 것 같다. 수없이 많이 쏟아 지는 지식 공유의 장인 세미나의 주제들만 보아도 쉽게 알 수 있고 여러 언론 매체에도 빠지지 않고 등장하는 주제 이다. 다양한 통로를 통해 AI에 한걸음 다가가 살펴 보자. AI가 적용된 다양하고 폭넓은 사례에 대해 알아가고 AI기술의 매력을 알아 갈수록 많은 문제를 해결해 줄 것 같은 마법과도 같다고 느낄 것이다. 이와 같이 많은 시선의 집중은 그만큼 관련 분야의 기술이 빠르게 변화하고 발전하고 있다는 것을 말한다. 특히 요즘 AI 기술에 발전 방향을 살펴 보면 '보다 쉽게 보다 효율적으로' 인 것 같.. NSML 네이버 딥러닝 클라우드 플랫폼 알아보기! [NAVER에 CLAIR(CLova AI research)에서 사용하고 있는 AI개발자 실험을 돕는 온라인 도구] AI 연구를 도와주는 많은 도구들이 탄생하고 있습니다. Tensorflow, Caffe, Pytorch등 다양한 Framework의 탄생으로 AI분야의 기술들은 하루 하루 엄청난 속도를 더해 발전해 나아 가고 있죠. 이러한 도구들 없이 머신 러닝을 연구한다는 것은 쉽게 상상 할 수 없는 일이 되어버렸습니다. 만약 위와 같은 도구들이 없었다면 머신러닝 분야는 이와 같이 발전할 수 있었을까요? 수많은 연구원들이 매번 복잡한 수식들을 직접 코드로 옮기다 지쳐 하나 둘 뒤돌아 섰을 것이고 사람들의 관심이 점점 식어 머신러닝 분야는 다시 빙하기를 겪었을지도 모릅니다. 이와 같이 편리한 Framewor.. 신경망, 첫걸음을 읽고 "신경망, 첫걸음을 걷고" 첫걸음, 어디를 향하든 첫걸음은 아주 중요하다. 첫걸음에 경사를 만나면 몇 걸음 지나지 않아 돌아서게 되고 너무 평평하면 금세 지루해져 주저 않고 만다. 인공지능 세상으로 가는 첫걸음도 마찬가지이다. 인공지능이라는 단어는 "알파고"의 등장으로 친숙하지만 막상 공부를 하기 위해 시작하고자 하면 막막함이 앞선다. 인공지능이라는 분야의 영역이 넓을 뿐만 아니라 깊이도 상상을 초월하기 때문이다. 그래서인지, 주변을 보면 유행을 따라 안갯속에 가려진 인공지능이라는 산을 등반하고자 하는 많은 사람들이 몇 걸음 가지 않아 되돌아 서는 경우를 쉽게 볼 수 있다. 정상으로 가는 수많은 길을 보며 어디로 가야 할지 모를 뿐만 아니라 아무리 걸어도 높이를 가늠할 수 없을 정도로 높은 정상에 겁을 .. 이전 1 다음
