[AWS] 구조화된 데이터 분석하기

1. 레드 시프트(RedShift) : 분석 대상 데이터를 저장하는 DB로서 대용량 데이터의 검색과 분석에 최적화된 DB 서비스이다.레드 시프트는 대용량 데이터를 열 방향으로 부석 및 집계하는 작업을 효율적으로 수행하도록 만들어진 DB이다.

[특징]
-앞서 이야기 했듯이 열 방향 분석 및 집계를 빠르게 처리할 수 있는 DB이다.
-여러 서버에서 분산 처리하는 구조이기 때문에 분석할 데이터양이 늘어도 확장이 자유롭다.
- 레드 시프트는 DWH(Data WareHouse) 및 BI(Business Intelligence)의 기본 DB로 적합하다.
- 레드 시프트는 RDS와 마찬가지로 관리형 DB 서비스로 제공되기 때문에 사용자는 서버 구성 및 데이터 중복성과 같은 것들에 대해서 고민할 필요가 없음.
- 레드 시프트는 PostgresSQL을 기반으로 만들어졌다.
- 그러므로 관리 작업은 위해서는 클라이언트 환경에 PostgresSQL 클라이언트를 설치하면 된다. PostgresSQL의 JDBC, ODBC 드라이버로 접속이 가능함. 또한 PostgresSQL 클라이언트로 CLI 형식의 psql과 GUI 형식의 SQL Workbench, J, pgAdmin등을 그대로 사용가능하다.

2. 플라이데이터 싱크(Flydata Sync) : AWS 파트너이며 데이터 통합 도구이다. 플라이 데이터 싱크는 MySQL과 레드시프트 간의 데이터 연계를 쉽게 수행할 수 있는 도구 이다.

플라이데이터 싱크는 MySQL로부터 레드시프트에 데이터 동기화를 처리하는 도구로, 필요한 테이블만을 선택하여 레드시프트에 전솔할 수 있다.

원본인 MySQL 데이터의 추가, 변경, 삭제, 테이블의 스키마 변경 등을 자동적으로 아마존 레드시프트에 반영할 수 있기 때문에 동기화 프로그램을 개발할 필요가 없어 시스템 구축 기간을 단축할 수 있다.

플라이데이터 싱크를 사용하여 데이터를 통합하려면 먼저 연계 대상인 RDS for MySQL의 바이너리 로그를 사용한다. 즉 바이너리 로그로부터 업데이트 정보를 수집, 변환하고 레드 시프트에 전송하는 것이다.

동기화를 시작하면, 플라이데이터는 MySQL과 레드시프트 간의 데이터 형식 차이에 대한 매핑 테이블을 생성하고 데이터를 전송한다. 데이터 전송은 플라이데이터에 지정된 시간 간격으로 실행된다.

보안에 민감하지 않은 데이터인 경우에는 클라우드 기반 데이터 통합 DB 서비스인 플라이데이터 클라우드에 MySQL과 레드시프트 포트를 열고 연결 설정과 데이터를 연계하는 테이블을 지정하면 플라이데이터 다이렉트가 데이터를 취득하여 레드시프트와 연계한다. 이와 같이 사용하면 플라이데이터 싱크를 설치하는 시간도 절감할 수 있지만 데이터가 외부로 노출될 가능성이 있으므로 상황에 맞게 사용하길 바란다.

4. 퍼블릭 데이터셋 : AWS에서 제공하는 오픈 데이터. 인구 조사결과와 같은 데이터 일부를 EBS 스냅샷으로 제공하고 있음.

퍼블릭 데이터셋은 AWS 사용자가 간편하게 오픈 데이터를 사요할 수 있게 제공한다. 경제 통계, 게놈, 웹 액세스 통계 등 분석 용도로 사용되는 데이터를 EBS 스냅샷이나 S3 버킷, MySQL에 저장된 데이터와 같은 형태로 공개 한다.

사용 방법은 간단하다. 사용자 자신이 오픈 데이터의 등록자가 되고자 신청하면 된다. 등록 여부는 AWS에서 판단한다.

5. 태블로 : 데이터 시각화 도구중 하나로 레드시프트에 대응하면서 프로그래밍 없이 사용할 수 있는 분석 소프트웨어이다. 각 데이터별 상관관계를 분석하거나 드래그앤드롭 등 직관적인 조작이 많기 때문에 사용법을 익히는 것이 어렵지 않다. 단, 무료는 아니다.
태블로는 윈도우 환경에서 작동하는 소프트웨어 이다. 그렇기 때문에 AWS의 윈도우 EC2에 설치하여 원격 접속하여 사용하는 것을 추천한다. 대용량의 데이터를 조회하기 위해 자주 레드시프트에 접근해야 함으로 같은 네트워크망 안에 있는 것이 더욱 효율적이다.

참고 도서 : 실전 AWS 워크북 _ 한빛 출판사_