본문 바로가기

전체 글

(762)
[Dify RAG #2] LLM 검색 정확도를 좌우하는 인덱싱 설정 – High-Quality와 Economical, 무엇이 다를까? 검색 정확도가 왜 이렇게 낮을까? 인덱싱 설정이 문제일 수 있습니다LLM(대규모 언어 모델)을 도입해 지식베이스 검색 시스템을 구축하고 있는 IT 담당자라면 이런 경험이 있을 겁니다.검색 기능을 열심히 만들었는데, 막상 사용해보니 원하는 정보를 정확히 찾아주지 못해서 답답했던 적 말입니다.이럴 때 "인덱싱 방식이 잘못됐을 수 있다"는 이야기를 듣지만,High-Quality, Economical, Vector Search, Full-Text Search, Hybrid Search 같은 어려운 용어들 때문에어떤 설정을 선택해야 할지 막막해지는 경우가 많습니다.저도 처음엔 그랬습니다. 검색 정확도가 낮아서 클라이언트 불만이 터졌고,결국 인덱싱 방식과 검색 설정을 하나하나 다시 뜯어고치며 최적화해야 했죠.이 글..
[Dify RAG #1] AI 챗봇 정확도를 높이는 비결 – Dify 지식베이스와 청킹(chunking) 설정 완전 정복 사내 문서와 FAQ를 AI 챗봇에 넣었는데, 자꾸 엉뚱한 답변이 돌아오나요?최신 자료를 반영했는데도 여전히 오래된 정보를 기반으로 틀린 답을 내놓나요?이런 문제는 대부분 ‘데이터 분할 방식’, 즉 ‘청킹(chunking)’ 설정에서 시작됩니다.AI가 문서를 잘 활용하게 만들려면, 지식베이스와 청킹 과정을 제대로 이해하는 게 핵심입니다.이 글에서는 Dify의 지식베이스 시스템과 청킹 설정법을 알기 쉽게 설명합니다.읽고 나면, 당신의 AI 챗봇이 더 정확하게 문서를 이해하고, 믿을 만한 답변을 하도록 설정할 수 있을 겁니다.RAG와 지식베이스: AI가 문서를 활용하는 방식요즘 AI 챗봇은 GPT 같은 대규모 언어 모델(LLM)을 활용합니다.그런데 이런 모델은 사전에 학습한 데이터에 기반해 답변합니다.그래서 ..
🔥 Grok-3, AI의 새 지평 열다" – OpenAI·Google 모델을 뛰어넘은 이유와 활용법 불과 몇 년 전만 해도 AI 모델의 성능 차이는 크게 체감되지 않았습니다. 그러나 이제는 상황이 달라졌습니다. 각 기업이 내놓는 최신 AI 모델마다 성능이 비약적으로 발전하고 있기 때문입니다.최근 xAI에서 발표한 'Grok-3'는 이런 흐름을 완전히 뒤집어 놓았습니다. OpenAI와 Google이 앞서가던 AI 경쟁 구도에서 Grok-3가 정상에 올랐다는 소식이 전해지면서 기술 업계가 크게 들썩이고 있습니다.도대체 Grok-3는 어떤 모델이길래 이렇게 주목받고 있을까요? 기존 모델과는 무엇이 다르며, 우리 일상과 업무에서 어떻게 활용될 수 있을까요?이 블로그에서는 Grok-3의 발표 배경, 성능 차이, 핵심 특징, 활용 사례, 그리고 직접 사용하는 방법까지 자세히 설명드리겠습니다.Grok-3 발표, 왜..
GUI 자동화의 판도를 바꾸다 – OmniParser V2, LLM과 함께하는 차세대 화면 인식 솔루션 GUI 자동화, 왜 이렇게 어려울까?화면 자동화를 구현해본 사람이라면 누구나 이런 경험이 있을 겁니다.버튼 위치가 조금만 달라져도 클릭이 엉뚱한 곳을 찍고, 작은 아이콘은 아예 인식하지 못해 작업이 멈춰버립니다.특히 LLM(대규모 언어 모델)을 활용해 GUI 자동화를 시도하면 이런 문제가 더 심각해지죠.화면에서 어떤 요소가 클릭 가능한지, 어디를 눌러야 원하는 동작이 수행되는지 정확히 판단하기 어렵기 때문입니다.여기서 등장한 것이 OmniParser입니다.UI 스크린샷을 분석해 인터페이스 요소들을 '읽을 수 있는 데이터'로 바꿔주는 도구죠.그리고 2025년 2월, 이 기술이 한 단계 더 진화했습니다.OmniParser V2는 더 빠르고 더 정확하게 UI 화면을 해석해, LLM 기반 자동화의 한계를 뛰어넘..
GPT-4.5와 GPT-5 출시, 무엇이 달라질까? 오픈AI의 새 AI 모델 완전 분석 오픈AI, GPT-4.5와 GPT-5 출시 예고 – 우리는 무엇을 준비해야 할까?최근 인공지능(AI) 기술에 관심 있는 사람이라면 누구나 ‘GPT-4.5’, ‘GPT-5’라는 단어를 들어봤을 것입니다. 오픈AI가 곧 GPT-4.5를 출시하고, 몇 달 내 GPT-5까지 선보이겠다는 로드맵을 발표했기 때문입니다.그런데, 이런 생각 드시지 않나요?“GPT-4도 겨우 따라가고 있는데, GPT-4.5, GPT-5는 또 뭐지?”“이번엔 대체 뭐가 그렇게 달라진다는 거야?”“내가 사용하는 챗GPT나 API도 달라지는 건가?”기술 변화 속도가 너무 빨라 따라가기가 벅찬 게 사실입니다. 하지만 중요한 건, 이번 변화가 단순한 업그레이드가 아니라 ‘AI 모델의 판 자체가 바뀌는 전환점’이라는 점입니다.이번 블로그에서는 G..
영국 AI 보안 연구소 출범 – 인공지능 악용 위험, 어떻게 막을 것인가? 최근 인공지능(AI)의 발전 속도가 눈부십니다. 하지만, 기술이 발전할수록 새로운 범죄와 국가 안보 위협도 커지고 있습니다. 영국 정부는 이런 우려에 대응하기 위해 기존의 'AI 안전 연구소(AI Safety Institute)'를 'AI 보안 연구소(AI Security Institute)'로 새롭게 개편했습니다. 이번 변화는 AI 기술이 범죄와 테러, 사이버 공격 등 심각한 위협에 악용될 가능성을 막고, 국가 안보를 강화하는 데 초점을 맞추고 있습니다.이번 블로그에서는 영국 AI 보안 연구소의 설립 배경, 주요 역할, 기대 효과, 그리고 AI 기술 발전과 보안의 균형에 대한 시사점을 짚어보겠습니다.영국 AI 보안 연구소 설립 배경AI 기술 발전과 함께 늘어나는 사이버 범죄 및 국가 안보 위협화학·생물..
파이썬 3.14, 코드 안 고쳐도 30% 빨라진다? – 새 인터프리터와 최적화 변화 완전 정리 최근 파이썬 개발자들 사이에서 뜨거운 화제가 된 소식이 있습니다. 바로 2025년 말 출시 예정인 파이썬 3.14 버전입니다.이 버전에서는 기존 코드 변경 없이도 실행 속도가 최대 30% 빨라진다는 발표가 있었는데요.과연 이게 어떻게 가능한 일일까요?이번 블로그에서는 파이썬 3.14의 핵심 변화와 새로운 인터프리터, 그리고 꼬리 호출 기반 최적화 기법에 대해 알기 쉽게 설명드릴게요.업그레이드하면 진짜 속도가 빨라지는지, 개발자가 알아야 할 설정은 무엇인지도 함께 알아보겠습니다.1. 파이썬 3.14, 정말 빨라지는 걸까?결론부터 말씀드리면, 성능 향상이 기대됩니다.파이썬 3.14 버전에서는 새롭게 '꼬리 호출 기반 인터프리터'가 추가되면서,기존 CPython 인터프리터보다 최대 30%까지 속도가 개선될 수..
GPT-4도 완벽하지 않다? 더 나은 결과를 만드는 '에이전트 디자인 패턴' 4가지 GPT-4도 실망스러울 때가 있나요?GPT-4를 써보면 정말 놀랍죠. 복잡한 질문에도 척척 답하고, 코드도 짜고, 긴 글도 써줍니다. 그런데 가끔 이런 경험 해보지 않으셨나요?"뭔가 조금 아쉬운데?""이 부분만 더 정확했으면 좋겠는데.""코드 결과가 틀렸는데, 다시 시키자니 처음부터 다 해야 하네."사실 이게 자연스러운 겁니다. 지금 대부분의 GPT-4나 GPT-3.5 사용 방식이 ‘한 번에 끝내기(Zero-shot)’ 방식이기 때문입니다. 즉, 처음부터 끝까지 쭉 작성하게 시키고, 틀리면 처음부터 다시 시키는 거죠.그런데 최근 AI 개발자들 사이에서 '에이전트 기반 워크플로우(agent workflow)'라는 접근법이 큰 주목을 받고 있습니다. 이 방법을 쓰면 GPT-3.5도 무려 **정답률 95.1%..
(한국어 AI 모델) DeepSeek-llama3.3-Bllossom-70B 완벽 해부 한국어 AI 모델, 왜 이렇게 어려울까?"왜 AI 모델만 쓰면 한국어 답변이 이상하지?""영어로는 잘 되는데, 한국어만 쓰면 엉뚱한 결과가 나오네."이런 경험, 해보셨을 겁니다. GPT나 Llama 같은 대형 언어 모델(LLM)이 대단하다고는 하지만, 막상 한국어로 질문하면 뭔가 부족하다는 느낌이죠.이유는 간단합니다. 기존의 유명한 LLM들은 주로 영어, 중국어 데이터를 중심으로 학습됐기 때문입니다. 한국어는 상대적으로 데이터가 적고, 모델 최적화 과정에서도 비중이 낮았습니다. 그래서 한국어 사용자들은 AI 모델의 한계를 종종 체감하게 됩니다.이런 문제를 해결하고자 등장한 모델이 바로 DeepSeek-llama3.3-Bllossom-70B입니다. 한국어 환경에 맞춰 성능을 대폭 개선한 모델이죠.이 글에서..
GPU 클라우드 직접 운영, 정말 이득일까? Fly.io의 도전과 시행착오에서 얻은 교훈 GPU 클라우드, 기대와 현실 사이AI와 머신러닝(ML)이 산업 전반으로 빠르게 확산되면서, GPU(그래픽처리장치)는 클라우드 인프라의 핵심 자원으로 떠올랐습니다. 특히, 스타트업이나 개발자들은 AI 모델을 서비스에 적용하기 위해 GPU가 필수적이라고 느끼고 있을 겁니다.하지만, GPU 인프라를 직접 구축하거나 운영하는 것이 과연 최선일까요? GPU 기반 클라우드 서비스인 Fly.io는 개발자들에게 GPU 환경을 제공하기 위해 직접 GPU 머신을 운영했습니다. 그러나, 그 과정에서 많은 시행착오를 겪었고, 결과적으로 GPU 클라우드 운영이 반드시 성공적인 선택은 아닐 수 있다는 사실을 깨달았습니다.이 글에서는 Fly.io의 경험을 통해 GPU 클라우드 서비스 운영의 현실적인 어려움과, AI/ML 서비스에..