본문 바로가기

전체 글

 (851)
[AWS] 클라우드프론트와 S3를 사용한 정적 콘텐츠 배포하기 방문자가 많은 시스템에서 이미지, 동영상, 자바스크립트, HTML, CSS 등의 정적 콘텐츠를 제공하는데는 많은 비용이 발생할 수 있다. 대량의 트래픽을 처리하려면 고성능의 웹 서버가 여러대 필요하게 된다. 그리고 EC2는 다운로드 통신량에 따라 종량 과금이 부과되므로 정적 콘텐츠의 전달이 많게 되면 비용 또한 많이 발생하게 된다. 이와 같은 상황에서 클라우드프론트와 S3를 사용하여 정적 콘텐츠 전달 비용을 줄일 수 있다. 오늘은 이와 같은 방법에 대해서 알아 보겠다. 클라우드프론트는 CDN(Content Delivery Network)의 일종으로 세계 각지에 배치된 서버에서 콘텐츠를 캐시하고 전달한다. 캐시에 히트한 경우에는 웹서버와 DB 서버에 접속하지 않게 되므로 서버의 부하를 줄이게되고 자연스레 ..
[Tensorflow] 텐서보드 사용하기 현재 딥러닝 라이브러리와 프레임워크는 너무나 많이 존재한다. 그 중 유독 텐서플로를 사용하는 것이 급증한데에는 텐서보드의 역할도 크다고 한다. 딥러닝을 현업에서 활용하다 보면 학습하는데 걸리는 시간이 아주 상당하다. 따라서 모델을 효과적으로 실험하려면 학습 과정을 추적하는 일이 매우 중요해진다. 하지만 학습 과정을 추적하는데에도 별도의 추가 작업이 많이 필요한 실정이다. 이러한 개발자의 어려움을 덜어주고자 텐서플로는 텐서보드라는 도구를 기본적으로 제공하고 있다. 텐서보드는 학습하는 중간중간 손실값이나 정확도 또는 결과물로 나온 이미지나 사운드 파일들을 다양한 방식으로 시각화해 보여준다. 더 놀라운 점은 이러한 도구를 사용하는데 코드 몇줄만 추가하면 된다는 것이다. 1. 데이터를 읽고 필요한 변수를 pla..
[Tensorflow] 학습 모델 저장하고 재사용하기 1. 모델 저장하기에 앞서 파일에 있는 데이터를 가져오는 것부터 알아보자. import tensorflow as tf import numpy as np data = np.loadtxt('file path', delimiter=',',unpack=True,dtype='float32') x_data = np.transpose(data[0:2]) y_data = np.transpose(data[2:]) [참고] numpy 라이브러리의 loadtxt함수를 이용하여 간단히 데이터를 읽어 올 수 있다. loadtxt의 unpack 매개 변수와 transpose함수는 읽어드린 데이터의 행과 열을 뒤바꿔주는 옵션과 함수이다. 특히 딥러닝에서는 다양한 학습 알고리즘을 적용하거나 행렬 연산을 효율적으로 하기 위해 데이터의..
[AWS] RDS를 이용하여 DB 서버 이중화 하기. AWS에서 제공해주는 RDS를 통해 DB서버를 이중화 하는 방법을 알아보자. AWS에 RDS를 구성하는 방법은 크게 두가지이다. EC2인스턴스에 RDBMS를 설치하는 방법과, 관리형 서비스인 아마존 RDS를 이용하는 방법이다. 전자는 직접 DB서버를 설치 및 관리하는 것으로 local 서버 환경을 AWS의 가상환경으로 옮긴 것 이외에는 크게 차이점이 없다. 그러므로 OS와 RDBMS를 자유롭게 선택하고 설정할 수 있는 장점이 있다. 하지만 OS와 DB환경을 사용자가 직접 관리해줘야 하는 부담이 있다. 후자는 패치 적용과 백업이 자동화 되어 있기 때문에 운영상에 큰 도움을 받을 수 있다. 가능한 한 아마존 RDS를 사용하는 편이 설정과 운영에 들어가는 수고를 줄여줄 수 있지만 DB운영에는 제약이 있다. 무..
[AWS] ELB(Elastic Load Blancer) 개념 및 사용법 알아 보기 소프트웨어 서비스 운영에 있어 안정화는 아주 중요한 요소 중 하나이다. 많은 사람들의 눈높이가 높아진 만큼 안정적으로 고객들에게 서비스를 제공해 줄 수 있는 방법을 알아보자. AWS에 가상 서버인 EC2와 가상 저장소인 EBS를 사용하여 구축한 웹서버는 로드 밸런서[ELB]를 사용하여 다중으로 구성할 수 있다. 1. AMI [Amazon 머신 이미지] : - AWS에서 준비한 서버 이미지로 AMI를 이용하여 간편하게 EC2를 생성할 수 있지만 사용자가 운영하고 있는 EC2를 기반으로 AMI를 생성할 수 있다. - 사용자가 직접 생성한 AMI를 활용한다면 동일한 EC2 가상 서버를 손쉽게 여러대의 서버로 만들 수 있다. - 규모가 큰 시스템을 구축하거나 같은 환경을 반복해서 사용하는 경우에 작업을 간소화 ..
AWS Summit 2일차 따끈따끈한 후기!! ​ 인공지능 기술에 대한 관심과 기대는 시간이 지날수록 더해가고 있습니다. 이와 같이 전 세계가 인공지능의 기술에 대해 관심을 가지고 시간이 지날수록 기술의 발전이 가속화되고 있는 이유는 지금까지 한계에 부딪혀 더 이상의 발전이 힘들것이라고 생각해왔던 많은 영역들이 인공지능이라는 기술을 만나 돌파구를 찾고 있으며 그로 인해 수많은 사람들이 더 나은 삶을 살 수 있게 되었기 때문이라 생각합니다. 이렇게 온 세상에 관심을 한 몸에 받고 있는 인공지능이 바로 AWS Summit 2일 차의 주제였습니다. ​ ​ 2일 차 Summit에는 금융, 유통 등... 다양한 분야에서 AWS가 활용되는 사례도 소개되었지만 가장 많은 사람들이 참여하고 관심을 가졌던 분야는 역시나 인공지능이었습니다. 이제부터 제가 느끼고 경험..
Microsoft Congnitive Toolkit 알아보기! Microsoft Cognitive Toolkit (CNTK)는 마이크로 소프트에 오픈소스 딥러닝 툴킷이다. ​올해에 가장 HOT한 IT분야는 누가 뭐라고 해도 AI 분야인 것 같다. 수없이 많이 쏟아 지는 지식 공유의 장인 세미나의 주제들만 보아도 쉽게 알 수 있고 여러 언론 매체에도 빠지지 않고 등장하는 주제 이다. 다양한 통로를 통해 AI에 한걸음 다가가 살펴 보자. AI가 적용된 다양하고 폭넓은 사례에 대해 알아가고 AI기술의 매력을 알아 갈수록 많은 문제를 해결해 줄 것 같은 마법과도 같다고 느낄 것이다. 이와 같이 많은 시선의 집중은 그만큼 관련 분야의 기술이 빠르게 변화하고 발전하고 있다는 것을 말한다. ​특히 요즘 AI 기술에 발전 방향을 살펴 보면 '보다 쉽게 보다 효율적으로' 인 것 같..
NVIDIA DIGITS 알아보기! 시간이 갈 수록 머신 러닝의 인기가 하늘을 찌르고 있다. 많은 분야에 빠르게 녹아 들어가고 있는 머신 러닝 기술을 보면 더 이상 일시적인 유행이라 보기는 힘들다. 모여드는 관심 만큼 빠르게 발전할 것이며 기술은 견고해져 갈 것이다. 가까운 미래에는 아마 머신 러닝이 적용되지 않은 분야를 찾아보기 힘들 정도로 머신 러닝은 넓고 빠르게 퍼져 갈 것이다. ​기술이 발전하면서 점점 그 기술을 쉽게 사용할 수 있는 툴들이 많이 태어난다.이렇게 나온 툴들 덕분에 쉽게 기술에 접할 수 있게 되면서 기술에 문턱이 낮아지게 되면 그 기술을 많은 사람이 찾게 된다. 그리고 이렇게 모여든 사람들이 힘을 모아 그 기술을 더욱 훌륭하게 발전시켜 나아가게 된다. 오랫동안 사랑 받아온 기술들은 이와 같은 패턴을 공통적으로 가지고 ..
NSML 네이버 딥러닝 클라우드 플랫폼 알아보기! [NAVER에 CLAIR(CLova AI research)에서 사용하고 있는 AI개발자 실험을 돕는 온라인 도구] AI 연구를 도와주는 많은 도구들이 탄생하고 있습니다. Tensorflow, Caffe, Pytorch등 다양한 Framework의 탄생으로 AI분야의 기술들은 하루 하루 엄청난 속도를 더해 발전해 나아 가고 있죠. 이러한 도구들 없이 머신 러닝을 연구한다는 것은 쉽게 상상 할 수 없는 일이 되어버렸습니다. 만약 위와 같은 도구들이 없었다면 머신러닝 분야는 이와 같이 발전할 수 있었을까요? 수많은 연구원들이 매번 복잡한 수식들을 직접 코드로 옮기다 지쳐 하나 둘 뒤돌아 섰을 것이고 사람들의 관심이 점점 식어 머신러닝 분야는 다시 빙하기를 겪었을지도 모릅니다. 이와 같이 편리한 Framewor..
블록 체인이란? ​ 블록 체인이란 ? 여러 의사 결정권자들이 참여한 일이 있다고 가정하자. 중요한 일이 일어날 때 마다 블록에 기록하고 이렇게 발생한 블록을 체인으로 연결하여 관리한다. 이렇게 체인에 연결된 블록 정보들은 이 일에 관련된 모든 의사 결정권자들에게 모두 공개 된다. 간략하게 블록 체인에 대해 위와 같이 쉽게 글로 표현해 보았다. 물론 블록 체인이라는 기술안에는 다양한 개념들이 들어가 있다.더 깊이 있는 기술적인 정보를 얻고자 한다면 아래 URL을 통해 학습하길 바란다.(한빛 미디어 : http://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS6102653917)(네이버 : http://d2.naver.com/helloworld/8237898)블록 체인의 핵..

티스토리툴바