본문 바로가기

2024/05

 (51)
[데이터] CDC (Change Data Capture)란 무엇인가?! CDC(Change Data Capture)는 데이터베이스 시스템에서 데이터 변경을 실시간으로 감지하고 기록하는 기술이나 방법론을 가리킵니다. 이 기술은 데이터베이스의 변경 로그를 사용하여 데이터의 추가, 수정, 삭제 등의 변경사항을 실시간으로 감지하고, 이를 다른 시스템이나 응용프로그램에 반영하는 데 사용됩니다. CDC를 통해 데이터의 변경사항을 실시간으로 파악할 수 있어서 데이터 웨어하우스, 비즈니스 인텔리전스, 데이터 통합 등 다양한 분야에서 활용됩니다.CDC의 주요 특징구분내용실시간 데이터 변화 감지데이터베이스 내의 변경 사항을 즉시 감지하여 실시간으로 전송합니다.가벼운 데이터 추출변경된 데이터만 추출하기 때문에 ETL 방식보다 가벼우며 빠릅니다.다양한 데이터 소스 지원관계형 데이터베이스, NoS..
[Prompt Engineering] ReAct이란 무엇인가?!! ReAct(Reason + Act)는 대규모 언어 모델(LLM)의 추론 및 행동 능력을 향상시키는 프롬프트 엔지니어링 기법입니다. 인간의 사고 방식에서 영감을 얻은 ReAct는 LLM에게 명확한 추론 과정과 함께 작업을 수행하도록 지시합니다. 이를 통해 모델은 보다 정확하고 신뢰할 수 있는 결과를 생성할 수 있으며, 특히 상식 추론과 관련된 복잡한 작업에 효과적입니다.ReAct 작동 방식구분내용 행동 지시 먼저 사용자는 LLM에게 수행할 작업을 명확하게 지시합니다. 이 지침은 간단하고 명료하며 LLM이 쉽게 이해할 수 있는 언어로 작성되어야 합니다. 추론 과정 생성 LLM은 지시에 따라 작업을 완료하기 위한 단계별 추론 과정을 생성합니다. 이 추론 과정은 중간 단계와 결론을 포함하여 명확하고 논리적이어야..
Grafana Loki 개념 잡기! Loki는 Grafana Labs에서 개발한 오픈 소스 로그 수집 및 분석 도구입니다. 로키는 분산 시스템에서 생성된 로그 및 이벤트 데이터를 수집, 저장 및 조회할 수 있도록 설계되었습니다. 이를 통해 개발자 및 시스템 운영자는 대규모 시스템에서 발생하는 로그 데이터를 효율적으로 관리하고 분석할 수 있습니다. 또한 Grafana와 통합되어 로그 데이터를 시각적으로 표현하고 대시보드로 모니터링할 수 있습니다. Grafana Loki는 클라우드 환경 및 마이크로서비스 아키텍처와 같은 현대적인 시스템에서 유용하게 사용됩니다.Loki의 주요 기능구분내용로그 수집다양한 소스(컨테이너, 애플리케이션, 시스템 등)로부터 로그를 수집합니다.로그 저장장기간 로그를 저장할 수 있는 확장 가능한 스토리지를 제공합니다.로그..

티스토리툴바