본문 바로가기

분류 전체보기

 (317)
[데이터] CDC (Change Data Capture)란 무엇인가?! CDC(Change Data Capture)는 데이터베이스 시스템에서 데이터 변경을 실시간으로 감지하고 기록하는 기술이나 방법론을 가리킵니다. 이 기술은 데이터베이스의 변경 로그를 사용하여 데이터의 추가, 수정, 삭제 등의 변경사항을 실시간으로 감지하고, 이를 다른 시스템이나 응용프로그램에 반영하는 데 사용됩니다. CDC를 통해 데이터의 변경사항을 실시간으로 파악할 수 있어서 데이터 웨어하우스, 비즈니스 인텔리전스, 데이터 통합 등 다양한 분야에서 활용됩니다.CDC의 주요 특징구분내용실시간 데이터 변화 감지데이터베이스 내의 변경 사항을 즉시 감지하여 실시간으로 전송합니다.가벼운 데이터 추출변경된 데이터만 추출하기 때문에 ETL 방식보다 가벼우며 빠릅니다.다양한 데이터 소스 지원관계형 데이터베이스, NoS..
[Prompt Engineering] ReAct이란 무엇인가?!! ReAct(Reason + Act)는 대규모 언어 모델(LLM)의 추론 및 행동 능력을 향상시키는 프롬프트 엔지니어링 기법입니다. 인간의 사고 방식에서 영감을 얻은 ReAct는 LLM에게 명확한 추론 과정과 함께 작업을 수행하도록 지시합니다. 이를 통해 모델은 보다 정확하고 신뢰할 수 있는 결과를 생성할 수 있으며, 특히 상식 추론과 관련된 복잡한 작업에 효과적입니다.ReAct 작동 방식구분내용 행동 지시 먼저 사용자는 LLM에게 수행할 작업을 명확하게 지시합니다. 이 지침은 간단하고 명료하며 LLM이 쉽게 이해할 수 있는 언어로 작성되어야 합니다. 추론 과정 생성 LLM은 지시에 따라 작업을 완료하기 위한 단계별 추론 과정을 생성합니다. 이 추론 과정은 중간 단계와 결론을 포함하여 명확하고 논리적이어야..
Grafana Loki 개념 잡기! Loki는 Grafana Labs에서 개발한 오픈 소스 로그 수집 및 분석 도구입니다. 로키는 분산 시스템에서 생성된 로그 및 이벤트 데이터를 수집, 저장 및 조회할 수 있도록 설계되었습니다. 이를 통해 개발자 및 시스템 운영자는 대규모 시스템에서 발생하는 로그 데이터를 효율적으로 관리하고 분석할 수 있습니다. 또한 Grafana와 통합되어 로그 데이터를 시각적으로 표현하고 대시보드로 모니터링할 수 있습니다. Grafana Loki는 클라우드 환경 및 마이크로서비스 아키텍처와 같은 현대적인 시스템에서 유용하게 사용됩니다.Loki의 주요 기능구분내용로그 수집다양한 소스(컨테이너, 애플리케이션, 시스템 등)로부터 로그를 수집합니다.로그 저장장기간 로그를 저장할 수 있는 확장 가능한 스토리지를 제공합니다.로그..
HTTP3에 대해 알아보기! HTTP/3는 인터넷 상에서 데이터를 전송하기 위해 사용되는 프로토콜 중 하나입니다. 이전에 사용되던 HTTP/1.1과 HTTP/2의 후속 버전으로, 성능과 보안 측면에서 개선되었습니다. HTTP/3는 UDP(User Datagram Protocol)를 기반으로 동작하는 QUIC(Quick UDP Internet Connections) 프로토콜을 사용합니다. UDP는 기존의 TCP(Transmission Control Protocol)보다 더 경량화되어 있으며, 연결 설정이 필요하지 않고 패킷 손실에 대한 복구 기능도 제공합니다. 이를 통해 HTTP/3는 기존의 TCP를 사용하는 HTTP/1.1과 HTTP/2보다 더 빠른 연결 설정과 전송 속도를 제공할 수 있습니다. 또한, HTTP/3는 보안 측면에서도..
systemd service 등록 하는 방법 systemd는 Linux의 초기 프로세스인 init를 대체하여 서비스 관리 등의 역할을 하는 시스템 및 서비스 관리자입니다. systemd를 이용하여 서비스를 등록하려면, systemd 서비스 유닛 파일을 만들어야 합니다. 이는 일반적으로 /etc/systemd/system 디렉토리에 위치합니다. 아래는 기본적인 systemd 서비스 유닛 파일 생성 방법입니다: 1. 새로운 systemd 서비스 파일을 만듭니다. 파일 이름은 보통 '[서비스명].service' 형태를 가집니다. (예를 들어, 'my_service.service'라는 이름으로 파일을 만들 수 있습니다.) sudo vi /etc/systemd/system/my_service.service 2. 아래와 같이 서비스 파일에 내용을 입력합니다...
[인공지능] 할루시네이션 이란 무엇인가? LLM 할루시네이션이란 무엇일까요?LLM(대규모 언어 모델) 할루시네이션은 모델이 실제로 사실이 아닌 정보를 생성하는 현상을 말합니다. 이는 LLM이 학습 데이터의 패턴을 과도하게 일반화하거나 학습 데이터에 없는 새로운 정보를 만들어내기 때문입니다.할루시네이션의 특징사실과 다른 정보LLM은 학습 데이터에 존재하지 않는 정보를 만들어낼 수 있습니다.논리적 오류LLM은 논리적으로 일관성이 없는 문장이나 이야기를 만들어낼 수 있습니다.편향LLM은 학습 데이터의 편향을 반영하여 편향된 정보를 만들어낼 수 있습니다.할루시네이션의 위험잘못된 정보LLM은 사실이 아닌 정보를 만들어낼 수 있어 사용자가 잘못된 정보를 믿게 만들 수 있습니다.편향된 정보LLM은 학습 데이터의 편향을 반영하여 편향된 정보를 만들어낼 수 있..
RAG란 무엇일까요? RAG는 Retrieval Augmented Generation의 약자로, 검색 증강 생성이라는 뜻입니다. 이는 **대규모 언어 모델(LLM)**의 성능을 향상시키기 위한 기술입니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 텍스트 생성, 번역, 질의응답 등 다양한 작업을 수행할 수 있습니다. 하지만 LLM은 학습 데이터 외부의 정보에 접근하지 못하고, 생성된 텍스트의 정확성과 신뢰성이 부족할 수 있습니다. RAG는 LLM의 부족한 부분을 검색 기술로 보완합니다. RAG는 LLM에게 질문을 주면, 먼저 검색 엔진을 사용하여 관련 정보를 검색합니다. 그리고 검색된 정보를 바탕으로 LLM이 텍스트를 생성합니다. 이렇게 하면 LLM이 학습 데이터 외부의 정보도 활용할 수 있고, 생성된 텍스트의 정확성과 ..
플랫폼 엔지니어링에 대해 알아보기 플랫폼 엔지니어링은 안정적이고 확장 가능한 플랫폼을 구축하는데 중점을 둔 엔지니어링 분야입니다. 주로 대규모 시스템의 아키텍처 설계, 인프라스트럭처 관리 및 운영, 자동화, 문제 해결, 성능 최적화, 보안 및 규정 준수 등을 담당합니다. 플랫폼 엔지니어는 다음과 같은 주요 역할을 수행합니다: 아키텍처 설계: 대규모 시스템의 아키텍처를 설계하고 구축합니다. 이는 시스템의 안정성, 확장성 및 성능을 보장하기 위해 중요한 단계입니다. 인프라스트럭처 관리: 서버, 네트워크, 스토리지 등의 인프라스트럭처를 관리하고 운영합니다. 이는 시스템의 안정성과 가용성을 유지하기 위해 필수적입니다. 자동화: 자동화 도구와 프로세스를 구축하여 반복적이고 시간 소모적인 작업을 자동화합니다. 이는 작업의 효율성과 일관성을 향상시키..

티스토리툴바