본문 바로가기

인공지능

 (201)
RAG란 무엇일까요? RAG는 Retrieval Augmented Generation의 약자로, 검색 증강 생성이라는 뜻입니다. 이는 **대규모 언어 모델(LLM)**의 성능을 향상시키기 위한 기술입니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 텍스트 생성, 번역, 질의응답 등 다양한 작업을 수행할 수 있습니다. 하지만 LLM은 학습 데이터 외부의 정보에 접근하지 못하고, 생성된 텍스트의 정확성과 신뢰성이 부족할 수 있습니다. RAG는 LLM의 부족한 부분을 검색 기술로 보완합니다. RAG는 LLM에게 질문을 주면, 먼저 검색 엔진을 사용하여 관련 정보를 검색합니다. 그리고 검색된 정보를 바탕으로 LLM이 텍스트를 생성합니다. 이렇게 하면 LLM이 학습 데이터 외부의 정보도 활용할 수 있고, 생성된 텍스트의 정확성과 ..
LLMOps 이란 무엇인가?! LLMOps는 "Large Language Model Operations"의 약어로, 대규모 언어 모델의 운영과 관리를 의미합니다. 이는 대용량 언어 모델의 훈련, 배포, 업데이트 및 모니터링과 같은 작업을 포함합니다. LLMOps는 기업이나 조직이 언어 모델을 효율적으로 관리하고 운영할 수 있도록 돕는 전략과 방법론을 포함합니다. LLMOps의 목표는 언어 모델의 안정성, 성능, 확장성 및 보안을 보장하면서 모델의 운영 비용을 최소화하는 것입니다. 이를 위해 LLMOps는 다음과 같은 작업을 수행할 수 있습니다: 데이터 관리: 대규모 언어 모델을 훈련시키기 위해 필요한 데이터를 수집, 정제 및 관리하는 작업입니다. 데이터의 품질과 다양성은 모델의 성능에 직접적인 영향을 미치므로, 데이터 관리는 매우 중..
프롬프트 엔지니어링 이란 무엇인가? 프롬프트 엔지니어링(Prompt Engineering)은 인공지능 모델의 사용에 있어 중요한 요소로, 입력에 대한 효과적인 가이드를 제공하는 과정으로 정의됩니다. 이는 사용자가 입력하는 정보를 조정하고 개선함으로써, 인공지능 모델이 원하는 결과를 산출하기 위한 방법론입니다. 이러한 프롬프트 엔지니어링은 특정 목적을 가지고 수행될 수 있으며, 그 중 몇 가지를 소개하면 다음과 같습니다: 첫째로, 명확한 지시 제공이 있습니다. 이는 모델이 원하는 유형의 답변을 얻기 위해 사용자가 입력에 명확하고 구체적인 지시를 포함하는 것을 의미합니다. 예를 들어, "번역해주세요: '안녕하세요'"라는 구체적인 지시를 통해 번역을 요청하는 프롬프트를 사용할 수 있습니다. 이렇게 명확한 지시를 제공함으로써, 모델은 사용자의 의..
MLOps란 무엇인가? 1) DevOps 탄생 배경과 MLOps의 중요성!DevOps라는 개념이 처음 소개되고 몇 년이 지난 지금, SW 개발자라면 DevOps라는 말을 한 번쯤은 들어 보았을 것이다. 더 나아가 대부분의 기업과 조직들이 DevOps 문화를 도입하기 위해 많은 노력을 하고 있고 이미 운영을 하고 있는 조직 또한 많이 존재하는 것으로 알고 있다. DevOps는 말 그대로 개발(Dev)과 운영(Ops)의 합성어이다. 즉 개발, IT운영, 품질, 보안등 다양한 영역의 업무를 빠르게 조율하고 협업할 수 있도록 하여 더욱 높은 품질의 제품을 지속적으로 신속하게 고객에게 전달하고자 하는데 목표를 두고 있다. 이와 같은 목표를 달성하기 위해 SW 엔지니어가 개발한 코드를 지속적으로 빌드하고 테스트 하며, 안정적이라고 판단된..
[Tensorflow] TF-Slim 알아보자 딥러닝 프레임워크 중 가장 많은 인지도를 받고 있는 것은 단연 Tensorflow 이다. 하지만 이렇게 좋은 프레임워크가 있음에도 불구하고 Pytorch, Keras와 같은 딥러닝 프레임워크가 끊임 없이 탄생하고 많은 연구자들의 사랑을 받는 이유는 무엇일까? 많은 이유가 있겠지만 그 중 하나로 들 수 있는것이 바로 단순하고 간결한 인터페이스 덕분일 것이다. 저수준의 Tensorflow API는 연구자들의 입맛에 맛게 자유롭게 구현이 가능하다는 장점도 있지만 자유로운 만큼 그에 따르는 대가도 적지 않다. 연구자들의 자유 속에 만들어진 코드는 개인차가 심할 것이며 코드 중복 및 복잡도가 올라갈 가능성이 아주 높아진다. 이와 같은 이슈로 인해 Tensorflow에서도 고수준 경량 API를 제공하고자 만들어 진..
[Tensorflow]TFRecord 파일 생성 방법(텐서플로우 데이타 포맷) 학습 또는 연구 목적으로 텐서플로우를 사용하고 있다면 TFRecord라는 파일 포맷을 한번쯤은 만나 보았을 것이다. 아직 만나보지 못하였다면 곧 만나게 될 것이다. 이번 글에서는 TFRecord 데이타 포멧이 무엇이고 어떻게 사용하는지에 대해서 알아 보자. "TFRecord 파일 포맷이란 무엇인가?" TFRecord 파일은 텐서플로우로 딥러닝 학습을 하는데 필요한 데이터들을 보관하기 위한 데이타 포맷이다. 흔히들 텐서플로우의 표준 데이터 파일 포맷이라고도 한다. TFRecord 파일은 바이너리 데이타 포맷으로 그 본질은 구글에 Protocol Buffer와도 같다. (파일에 데이터를 Serialize하게 저장함) *Protocol Buffer 참고 : http://bcho.tistory.com/1182 ..
[Tensorflow] MNIST 학습해보기!! MNIST 데이터셋을 신경망으로 학습시키며 딥러닝에 대한 맛을 보자. 인공지능에 관심이 있는 분이라면 MNIST를 처음 듣는 사람은 없을 것이다. 하지만 인공지능 분야에 첫걸음을 때는 사람을 위해 간략히 MNIST에 대해 설명하고 넘어가도록 하자. MNIST는 손으로 쓴 숫자들의 이미지를 모아놓은 데이터 셋으로 0~9까지의 수를 28 * 28픽셀 크기의 이미지로 구성해 놓은 것이다. MNIST 학습은 머신러닝을 공부하는 사람이라면 누구가 거쳐 가는 프로그래밍에 Hello World라고도 불리운다. 지금부터 텐서플로에 내장된 MNIST 데이터를 기반으로 학습하는 과정을 살펴보자. 1. 데이터 가져오기 가장 먼저 텐서플로를 임포트하고 텐서플로에 대장된 tensorflow.example.tutorials.mn..
[Tensorflow] 텐서보드 사용하기 현재 딥러닝 라이브러리와 프레임워크는 너무나 많이 존재한다. 그 중 유독 텐서플로를 사용하는 것이 급증한데에는 텐서보드의 역할도 크다고 한다. 딥러닝을 현업에서 활용하다 보면 학습하는데 걸리는 시간이 아주 상당하다. 따라서 모델을 효과적으로 실험하려면 학습 과정을 추적하는 일이 매우 중요해진다. 하지만 학습 과정을 추적하는데에도 별도의 추가 작업이 많이 필요한 실정이다. 이러한 개발자의 어려움을 덜어주고자 텐서플로는 텐서보드라는 도구를 기본적으로 제공하고 있다. 텐서보드는 학습하는 중간중간 손실값이나 정확도 또는 결과물로 나온 이미지나 사운드 파일들을 다양한 방식으로 시각화해 보여준다. 더 놀라운 점은 이러한 도구를 사용하는데 코드 몇줄만 추가하면 된다는 것이다. 1. 데이터를 읽고 필요한 변수를 pla..

티스토리툴바