전체 글 (762) 썸네일형 리스트형 [데이터 플랫폼] 클라우드 데이터 플랫폼 설계 및 구축 데이터 플랫폼 빌딩 블록 : 상위 레벨 아키텍처 구분 내용 데이터 플랫폼의 빌딩 블록 데이터 플랫폼의 목적 분석에 활용될 수 있도록 어떤 유형의 데이터든 최대한 비용 효과적인 방식으로 데이터를 수집, 저장, 처리해서 활용할 수 있도록 제공하는 것 계층간 느슨하게 결합돼 있는 형태의 아키텍처를 지향한다. 각 계층은 각가의 특정 역할을 담당하고, 잘 정의된 API를 통해 각 계층간 상호교류한다. 수집 계층 (Ingestion Layer) 데이터를 데이터 플랫폼으로 가져오는 역할 관계형 데이터베이스, NoSQL 데이터베이스, 파일 스토리지, 사내 API, 타사 API 등..에 접속해 데이터를 추출하는 역할을 담당 유연성이 높아야 한다. >> 활용하고자 하는 데이터 소스가 다양해 지고 있음 대부분 오픈 소스 툴.. [글공유] 시맨틱 데이터 모형화를 읽고 시간이 지날수록 데이터의 중요성은 점점 더 커져가는 것 같습니다. 지금 이 시점에서 빅데이터의 필요성을 아직 의심하는 사람은 없을 것 입니다. 인공지능에 대한 기대와 데이터가 주는 가치를 빠르게, 알고 이미 많은 기업들이 많은 데이터를 확보하고 있습니다. 하지만 조금 더 한발자국 깊이있게 들어가보면 제대로 데이터를 잘 활용하는 경우는 그리 많지 않습니다. 아직 대부분 데이터를 수집하는 것에 집중하고 있으며, 수집한 데이터를 어떻게 사용해야 하는지 방황해 하는 기업들이 많은 것 같습니다. 그렇다면, 이제 우리는 어디에 집중하고 많이 고민해야 할까요? 저는 데이터를 어떻게 사용하고, 시장을 바꿀 수 있는 방향에 대해 더 많이 고민하는 것이 어떨까? 라고 제안해봅니다. 그리고 수집을 하는 것에 더해, 활용할 .. [글공유] 러닝 Go를 읽고 프로젝트에 어떤 프로그램 언어를 사용하시나요? 현재 공부하고 계신분들이라면, 어떤 기준으로 첫 언어를 선택 하셨나요? 프로그램 언어를 선택하거나, 프로젝트에 기술을 선택하는 기준은 정말 다양할 것입니다. 팀원들에 스킬을 반영하여, 선정이 될 수도 있구요. 프로젝트의 일정과 주어진 자원이 먼저 고려가 되는 경우도 많을 것 입니다. 또 어떤 경우가 있을까요? 팀 리더라면, 개발자를 쉽게 구할 수 있는 트렌디한 기술을 선택할 수도 있겠죠? 위에 말씀 드린 내용들은 기술을 검토하고 선정할 때, 모두 중요한 요소이며, 검토 되어야 할 항목들 임은 틀림 없습니다. 하지만 IT 개발자라면, 무엇보다도 중요하게 생각되는 녀석이 바로 성능일 것 입니다. 적은 비용으로, 최고의 성능을 낼 수 있는 기술이 곧 시장을 앞서 .. [글공유] Kubeflow Operation Guide 소개 MLOps라는 말 많이 들어보셨죠? 아마 처음 듣는 분들도 있으실 거예요. 그렇다면 DevOps는 들어보셨나요? DevOps가 소프트웨어 개발과 운영의 합성어인 것 처럼 MLOps는 MachineLearning과 운영의 합성어 입니다. 인공지능 기술의 발전이 엄청나게 빠르게 이루어지고 다양한 분야의 인공지능 기술들이 고도화 됨으로써, 더 빠르고 효율적으로 머신러닝 서비스를 관리할 수 있는 기술 또한 지속적으로 발전해나가고 있습니다. 소프트웨어 개발과 운영의 프로세스를 단순화하고 많은 부분이 자동화 함으로써 소프트웨어 애플리케이션 개발 생산성이 엄청나게 올라갔듯이, 머신러닝 분야에서도 이와 같은 노력이 당연하게 이루어지고 있습니다. 이런 노력이 결국 MLOps로 모여드는 것이죠. 오늘은 제가 관심을 많이 .. JPA + Hibernate 설치 및 구성 알아보기! JPA 구현체로 하이버네이트를 사용하기 위해 필요한 lib는 아래와 같다. 구분 내용 gradle 참고용 hibernate-core 하이버네이트 라이브러리 * hibernate-entitymanager를 라이브러리로 지정하면 hibernate-core도 함께 내려 받는다. hibernate-entitymanager 하이버네이트가 JPA 구현체로 동작하도록 JPA 표준을 구현한 라이브러리 implementation group: 'org.hibernate', name: 'hibernate-entitymanager', version: '5.5.2.Final' hibernate-jpa-2.1-api JPA 2.1 표준 API를 모아둔 라이브러리 * hibernate-entitymanager를 라이브러리로 지정하.. [글 공유] 쿼커스 쿡북 컨테이너와 쿠버네티스는 이제 새로운 기술이라기 보다 많은 개발자들이 활용하는 익숙한 기술이 되어버린 듯 하다. 그만큼 쉽고 효율적이며 학습에 대한 비용보다 개발자들이 얻는 이득이 많은 기술이기 때문일 것이다. 쿠버네티스를 보면 그 발전 속도에 놀라지 않을 수 없다. 하루가 지나면 새로운 기술이 추가되고 변경되며 진화해 나간다. 보다 더 효율적인 방법으로 더 좋은 방향으로 나아간다. 뒤쫒아가는 개발자들은 힘들지만 따라가는 재미가 있다. 현재도 쿠버네티스는 발전하고 있고 쿠버네티스 생태계는 이미 커질대로 커져버렸다. 쿠버네티스 생태계의 활성화는 한동안 지속될 것으로 보인다. 이미 많은 개발자들이 그 편안함에 익숙해져버렸으며 다양한 컨테이너 오케스트레이션 도구중 쿠버네티스의 점유율이 가장 높은 것으로 보이기 .. Kubernetes On premise 설치하기! 요약 정리! "이제는 Kubernetes를 모르면 안되는 시점이 된 것 같습니다." 어느정도 규모 있는 서비스를 개발하고 확장하여 운영하다보면 Container 활용을 자연스레 검토하게 되지요. 시스템 규모가 커져 Container의 개수가 많아지면 자연스레 효율적으로 관리하기 위한 Orchastration도구를 찾게되고 결국 Kubernetes를 만나게 될 것 입니다. 모두가 그렇다고 말할 수는 없지만 보다 효율적인 방법을 찾다보면 결국 쿠버네티스를 만나게 되는 것 같습니다. 그렇게 저도 쿠버네티스를 만나게 되었습니다. 물론 많은 Public Cloud사에서 쿠버네티스 서비스를 제공하고 있고 그 것을 활용하는 것이 여러모로 정신건강에 좋다곤 하지만 제가 직접! 제 손으로 설치는 해봐야 하지 않을까요? 라는 생각으로.. Cybersecurity Ops with bash 읽고 요즘 들어 부쩍 보안에 대한 중요성을 많이 느끼게 된다. 몇 년전부터 IT 서비스들은 개인의 삶을 보다 윤택하게 해주겠다는 명목으로 생활 깊숙히에 자리잡고 있다. 그리고 다양한 기업들이 인공지능과 빅데이터 기술을 기반으로 개인 맞춤식 서비스를 해주겠다며 나와 관련된 데이터들을 무자비하게 흡수하기 시작했다. 이와 같은 변화속에 개인의 데이터가 아무 동의 없이 외부에 유출되거나 개인의 권한을 해커로부터 도용당하는 사례가 쏟아져 나오기 시작하였다. 변화가 빠를 수록 문제는 다양하고 많이 발생하기 마련이다. 급변하는 이 사회에 보안이라고 하는 부분이 조명을 받아야하는 이유이기도 하다. 개발을 하다보면 바쁜 일정에 보안적인 부분까지 미처 고려하지 못하는 경우가 있다. 이런 아쉬운 상황은 사고로 이어지기 마련이다... MLOps란 무엇인가? 1) DevOps 탄생 배경과 MLOps의 중요성!DevOps라는 개념이 처음 소개되고 몇 년이 지난 지금, SW 개발자라면 DevOps라는 말을 한 번쯤은 들어 보았을 것이다. 더 나아가 대부분의 기업과 조직들이 DevOps 문화를 도입하기 위해 많은 노력을 하고 있고 이미 운영을 하고 있는 조직 또한 많이 존재하는 것으로 알고 있다. DevOps는 말 그대로 개발(Dev)과 운영(Ops)의 합성어이다. 즉 개발, IT운영, 품질, 보안등 다양한 영역의 업무를 빠르게 조율하고 협업할 수 있도록 하여 더욱 높은 품질의 제품을 지속적으로 신속하게 고객에게 전달하고자 하는데 목표를 두고 있다. 이와 같은 목표를 달성하기 위해 SW 엔지니어가 개발한 코드를 지속적으로 빌드하고 테스트 하며, 안정적이라고 판단된.. Refactoring 2 책을 읽고! 개발자라면 단연 "리팩터링"이라는 단어를 처음 접하는 사람은 없을 것이다. 어마 어마한 천재이거나, 신이 아니라면 대부분의 개발자는 자신이 만든 코드를 다시 돌이켜 보며 리팩터링이라는 작업을 하게 된다. 리팩터링은 자신이 만들어 놓은 코드를 다시 한번 재정비하고 수정하여 더욱 좋은 코드로 발전시키는 작업이다. 리팩터링을 할 수 있다는 것은 SW에겐 축복이고 IT 세상에 무한한 발전을 가능하게 해 준 원동력 중 하나라고 생각한다. 외부에 변화를 최소화하며 내부에 변화를 지속적으로 해나가는 것이 리팩터링이기 때문에 리팩터링을 하는 애플리케이션은 계속 진화하고 있다고 볼 수 있다. 많은 사람들이 리팩터링을 거친 시스템은 과거보다 더 생산적이고 효율적이며 안전하게 될 것을 기대할 것이다. 하지만 리팩터링을 하는.. 이전 1 ··· 68 69 70 71 72 73 74 ··· 77 다음