본문 바로가기

전체 글

(170)
빅데이터 분석 기사 실기 시험 정보 정리 및 꿀팁 #1 기출 유형 정리작업형 제1유형 : 데이터 전처리 작업전처리 문제 : 데이터 분석, 변환 등... 작업을 하게 됩니다. 주로 사용하는 패키지: numpy, pandas작업형 제2유형 : 데이터 모형 구축 작업모형 구축 문제 (머신러닝) : 주어진 데이터를 전처리 하고 모델을 학습하여, 예측하는 문제입니다. 주로 사용하는 패키지: sklearn제3유형 : 데이터 모형 평가 작업통계분석 문제 : 통계 정보를 도출하는 문제 입니다. 주로 사용하는 패키지: scipy.stats, statsmodels 채점 기준작업 유형문항 수 점수1유형3문항문항당 10점 30점2유형1문항40점3유형2문항문항당 15점(소문항 구성) 30점합계6문항100점합격선 : 60점 1,2유형에서 높은 점수를 받는 전략을 추천 드립니다. 패키..
[MSA] SAGA 패턴이란 무엇인가 ? 마이크로서비스 아키텍처(MSA)에서 Saga 패턴은 분산 트랜잭션을 관리하는 데 사용되는 패턴입니다. MSA에서는 여러 마이크로서비스가 독립적으로 배포되고 관리되기 때문에 전통적인 데이터베이스 트랜잭션 관리 기법을 적용하기 어렵습니다. 이러한 환경에서 Saga 패턴은 트랜잭션의 일관성을 유지하는 데 중요한 역할을 합니다.SAGA 패턴 개념Saga 패턴은 일련의 로컬 트랜잭션으로 구성된 분산 트랜잭션을 의미합니다. 각 로컬 트랜잭션은 하나의 마이크로서비스에 의해 수행되며, 모든 로컬 트랜잭션이 성공적으로 완료되면 전체 트랜잭션이 성공한 것으로 간주됩니다. 만약 어떤 로컬 트랜잭션이 실패하면, 이전에 완료된 모든 트랜잭션을 취소하기 위해 보상 작업(compensating transaction)이 실행됩니다...
[분당 맛집] 여행 가고 싶을 때, 여기로~! 정자역 수제 버거 솔직 후기! 브리즈번 버거앤비어 여행을 떠나고 싶습니다. 여행을 가고 싶습니다. 정말 비행기 타고 싶어요.  저만 이런 여행앓이에 빠진거 아니죠? 다들 몇 년전 마지막인지도 모른체 다녀온 해외 여행 사진을 슬쩍 슬쩍 보시자나요. 그리고 아 ~ 떠나고 싶다고 생각하시자나요. 생각해보세요. 두오모 성당이 보이는 구석에서 커피 한잔!에펠탑 보면서 와인한잔! 언제쯤 떠날 수 있을까요? 기다리지 말고 지금 바로 떠나세요. 코로나도 있는데 무슨 말이냐구요? 속는샘치고 한번 따라와보세요~.  오늘은 제가 호주 브리즈번 ~ 버거앤 비어라는 수제 버거집을 소개해 드리겠습니다. (속았다구요? 다들 속고 웃고 ~ 그러는거 아니겠어요? 대신 솔직한 후기 남길테니 용서해주세요~) 이곳은 5성급 호텔 셰프가 개발하고 조리하는 수제 버거 집이예요.기대되시죠?  ..
[분당 맛집] 소금과빛베이커리! 빵순이 빵돌이가 추천하는 완전 빵맛집! 빵 좋아하시는 분들 많으시죠?  오늘은 제가 정말 맛있는 동네 빵집을 소개해드리려고 합니다. 벌써 고소한 빵냄새가 나는거 같죠?  저는 소보로 빵을 참 좋아하는데요. 달콤하고 바삭한 빵 윗부분과 부드로운 몸통의 조화가 끝내주죠. 그 맛을 아시는 분들은 이미 침샘이 먼저 반응하고 계실거예요. 그리고 요즘 여러분들 앙버터 좋아시죠? 달달한 버터의 향 ~ 벌써 먹고 싶습니다.  소보로와 버터! 이 두가지를 한번에 즐길 수 있는 곳이 바로 소금과 빛베이커리 입니다. 두 종류의 빵이 모두 있다는 것이 아니라!한 입에 두가지 맛을 모두 즐길 수 있다는거죠! 이 생각을 나는 왜 진작에 하지 못했지? 라고 자책 하시는 분들 있을거예요.하지만 너무 슬퍼하지 마세요. 소금과 빛베이커리가 대신 그 생각을 했자나요. 여러분들..
[강릉 맛집] 기다림이 아깝지 않은 카페 툇마루!! 훌쩍 일상을 떠나고 싶으실 때가 있죠?그런 순간은 항상 예고 없이 찾아오는 것 같습니다. (어쩌면 몇 번이고 우리에게 알려줬지만 미처 느끼지 못한 것 일 수도 있을 것 같습니다.)여러분들은 이런 날이면 무엇을 하시나요?  쇼핑? 산책? 독서?저는 언제나 그렇듯 훌쩍 떠나보았습니다. 이렇게 떠나온 곳이 조금 멀어요. 오늘은 바로 강릉이랍니다.  강릉 왠지 이름만 들어도 맛있는 커피가 있을 것 같지 않습니까?저의 근거 없는 자신감은 적중하고 말았습니다.  크게 어렵지 않게 찾았거든요. 그만큼 맛있고 많은 사람이 찾는 곳이니까요. 그곳을 이제 소개해드리려고 합니다. 그곳은 ~ 바로 ~ 카페 툇마루!흑임자 라떼로 유명 유명 아주 ~ 유명한 곳이랍니다.  #인테리어 : 목재 느낌에 따뜻한 느낌의 인테리어입니다. ..
ETL vs ELT - 데이터 처리 접근 방식 차이점 알아보기 ETL과 ELT의 차이점은 무엇인가요?ETL(Extract, Transform, Load)과 ELT(Extract, Load, Transform)는 데이터 통합과 변환을 위한 두 가지 주요 접근 방식입니다. 이들은 데이터 처리를 위한 기본 원칙은 동일하지만, 데이터 변환 단계가 어디에서 수행되는지에 따라 차이가 있습니다.ETL (Extract, Transform, Load)ETL은 데이터를 추출(Extract)하고, 데이터 웨어하우스나 데이터 마트로 로드하기 전에 변환(Transform) 단계를 수행한 후 적재(Load)하는 방식입니다.Extract (추출):다양한 소스 시스템(예: 데이터베이스, 파일, API)에서 원시 데이터를 추출합니다.Transform (변환):데이터를 중앙 저장소로 로드하기 전에..
[dbt] dbt란 무엇인가? dbt(Data Build Tool)는 데이터 트랜스포메이션을 관리하고 자동화하는 오픈 소스 툴입니다. dbt는 데이터 팀이 SQL로 데이터를 변환, 모델링, 테스트 및 문서화할 수 있도록 도와줍니다. 주로 ELT(Extract, Load, Transform) 방식에서 트랜스포메이션(T) 부분을 담당합니다.dbt의 주요 특징SQL 중심의 트랜스포메이션:dbt는 SQL을 사용하여 데이터 트랜스포메이션을 수행합니다. 이는 SQL을 이미 알고 있는 데이터 분석가와 엔지니어에게 매우 친숙한 환경을 제공합니다.버전 관리 및 협업:dbt프로젝트는 Git과 같은 버전 관리 시스템과 통합되어 코드 변경 사항을 추적하고 여러 팀원이 협업할 수 있습니다.테스트 및 검증:dbt는 데이터 품질을 유지하기 위한 테스트 기능을 ..
[Airflow] Airflow란 무엇인가? Apache Airflow는 워크플로우 관리 플랫폼으로, 데이터 엔지니어링 작업에서 자주 사용됩니다. Airflow는 워크플로우를 작성, 스케줄링, 모니터링할 수 있는 기능을 제공하여, 복잡한 데이터 파이프라인을 효율적으로 관리할 수 있도록 돕습니다. 주요 특징DAG (Directed Acyclic Graph):Airflow의 워크플로우는 DAG로 정의됩니다. DAG는 작업(Task)들 간의 의존성을 명확히 나타내는 유향 비순환 그래프입니다. 이를 통해 작업의 실행 순서를 제어하고 모니터링할 수 있습니다.모듈화 및 확장성:Airflow는 Python 코드로 작성되어 매우 유연하고 확장 가능합니다. 사용자는 다양한 연산자(Operators)와 센서(Sensors)를 활용해 복잡한 워크플로우를 정의할 수 있..
[강릉 여행] 아르떼 뮤지엄! 가족, 커플, 육아 여행 추천! 빠르게 변화는 세상에 적응해가시는 여러분! 힘드시죠? 힘든 만큼 쉬는 것도 잘 쉬어줘야 하는데... 힘들다고 한 번뿐인 우리의 소중한 시간을 그냥 흘려보낼 수는 없잖아요?힘들다면 더 열심히 쉬어보아야 합니다.  그래서 저는 이번 주 큰맘 먹고 강릉으로 훌쩍 떠났습니다. 강릉!왠지 더 시원하게 느껴지지 않으시나요? 그래서인지 제 마음도 시원해지는 것 같습니다.  예전에는 서울에서 강릉까지 가는 길이 엄청나게 멀었거든요? 그런데 이게 웬일!내비게이션으로 찍었더니 2시간 반이면 가더라고요!이 정도면 당일치기도 가능하겠죠?  강릉 하면 뭐가 떠오르세요? 커피? 양? 겨울 바다? 물회? 순두부? 다 좋지만 이번 여행의 목적은 눈 호강! 이랍니다. 제가 어디 갔는지 궁금하시죠?   제가 향한 곳은 아르떼 뮤지엄!제..
[GitOps] GitOps란 무엇인가? GitOps는 Git을 중심으로 한 운영 방식으로, 인프라 및 애플리케이션 배포를 코드로 관리하는 DevOps의 한 방법론입니다. GitOps는 모든 변경 사항을 Git 리포지토리에 저장하고, 이를 기반으로 시스템 상태를 관리 및 배포합니다. 이 접근 방식은 일관성, 추적 가능성, 자동화된 배포, 협업 강화 등을 통해 소프트웨어 개발 및 운영의 효율성을 높입니다.GitOps의 핵심 원칙GitOps의 핵심 원칙은 선언적 인프라 관리, 버전 관리 시스템으로서의 Git, 자동 동기화 및 배포, 모니터링 및 검증으로 구성됩니다. 이 원칙들은 GitOps의 효율적이고 일관된 운영을 보장하며, DevOps 문화의 발전을 촉진합니다. 아래에 각각의 원칙을 자세히 설명하겠습니다.1. 선언적 인프라 관리 (Declara..