본문 바로가기

AWS

 (17)
AWS S3 Tables: 차세대 테이블 데이터 관리 솔루션 AWS re:Invent 2024에서 Amazon은 Amazon S3 Tables라는 새로운 솔루션을 공개했습니다. 이는 Apache Iceberg 표준을 활용하여 대규모 테이블 데이터를 효율적으로 저장하고 관리할 수 있는 완전 관리형 서비스입니다. 이번 블로그에서는 Amazon S3 Tables의 개념과 동작 원리, 그리고 설정 및 사용 방법에 대해 자세히 알아보겠습니다.1. Open Table Format(OTF)와 Apache Iceberg 이해하기Open Table Format (OTF)란 무엇인가?전통적인 데이터베이스에서는 데이터를 읽으려면 데이터베이스 소프트웨어를 설치하고, 스키마와 테이블을 생성한 후 데이터를 로드해야 합니다. 반면 Open Table Format은 데이터를 Apache Pa..
AWS 리인벤트 2024: AI와 데이터 혁신의 새로운 장을 열다 AWS 리인벤트 2024에서 아마존은 AI와 데이터 기술 혁신의 핵심을 제시하며, 클라우드 산업에서의 입지를 강화했습니다. 올해 행사에서는 새로운 멀티모달 AI 모델부터 AI 학습용 칩, 차세대 AI 개발 툴에 이르기까지 다양한 발표가 이어졌습니다. 이번 블로그에서는 핵심 내용을 요약하며, 이를 통해 도출할 수 있는 인사이트를 공유합니다.1. 자체 멀티모달 AI 모델 ‘노바(Nova)’ 발표AWS는 자체 AI 모델 ‘노바’를 공개하며 AI 플랫폼 시장에 본격적으로 도전장을 내밀었습니다. 노바는 텍스트, 이미지, 비디오 등을 처리하는 멀티모달 언어 모델로, 6가지 모델 버전으로 출시되었습니다.주요 모델 라인업: 노바 마이크로, 노바 라이트, 노바 프로, 노바 프리미어, 노바 캔버스, 노바 릴.경쟁 우위: ..
미래의 데이터베이스, Amazon Aurora DSQL: 서버리스, 무제한 스케일, 그리고 간편함의 혁신 클라우드 시대의 발전은 개발자들에게 더욱 강력한 도구와 유연성을 제공하고 있습니다. 하지만 대부분의 데이터베이스는 여전히 관리의 복잡성과 확장성의 한계라는 문제를 안고 있죠. 오늘 소개할 Amazon Aurora DSQL은 이 모든 고민을 단숨에 해결하는 획기적인 서버리스 분산 SQL 데이터베이스입니다. Aurora DSQL이 제공하는 혁신적인 기능과 그 활용 사례를 살펴보며, 왜 이것이 차세대 데이터베이스의 표준이 될지 함께 알아보겠습니다.Aurora DSQL이란?Amazon Aurora DSQL은 서버리스 설계로 무제한 스케일 확장, 99.999% 가용성, 제로 인프라 관리를 제공합니다. 이 데이터베이스는 PostgreSQL 호환성을 갖추고 있어 기존 개발자 환경과 완벽히 통합되며, 데이터 샤딩이나 ..
AWS Bedrock: 인공지능의 새로운 돌파구를 여는 비밀 무기 인공지능(AI)과 머신러닝(ML)은 현대 기술 혁신의 핵심 요소로 자리잡고 있습니다. AWS는 이러한 혁신을 이끄는 기업으로, AI와 ML을 손쉽게 활용할 수 있는 다양한 도구를 제공합니다. 그 중에서도 최근 주목받는 서비스가 바로 AWS Bedrock입니다. 이 글에서는 AWS Bedrock의 특징과 목적, 주요 기능, 활용 분야, 그리고 AWS의 또 다른 AI 서비스인 SageMaker와의 차이점에 대해 알아보겠습니다.AWS Bedrock의 특징과 목적AWS Bedrock은 기업이 대규모 언어 모델(LLM)과 생성형 AI 모델을 쉽게 활용할 수 있도록 지원하는 플랫폼입니다. 이 서비스의 주된 목적은 AI 모델의 접근성을 높이고, 개발자와 데이터 과학자들이 복잡한 AI 모델을 구축, 훈련, 배포하는 과..
미래의 AI 혁신, Amazon Q 개발자 기능의 알아보기 인공지능(AI) 기술의 발전 속도는 가히 혁명적입니다. 이 속에서 아마존 웹 서비스(AWS)가 선보인 새로운 AI 모델인 Amazon Q는 그 중에서도 주목받는 혁신입니다. 이 글에서는 Amazon Q의 주요 특징과 기능을 살펴보고, 다른 인공지능 모델들과 차별화되는 점을 알아보겠습니다.1. 대화 기반 개발 환경Amazon Q는 대화의 맥락을 이해하여 개발자에게 필요한 정보를 제공합니다. 예를 들어, 콘솔에서 오류가 발생했을 때, Amazon Q는 자동으로 해당 오류에 대한 정보를 제공하고, 잠재적인 해결책을 제시합니다. 이 기능은 개발자가 문제를 신속하게 해결할 수 있도록 도와줍니다.2. 자연어 기반 코드 생성Amazon Q는 개발자가 원하는 기능을 자연어로 설명하면, 이를 바탕으로 코드를 생성합니다...
[클라우드] Serverless란 무엇인가요? 서버리스(Serverless)는 클라우드 컴퓨팅 서비스의 한 형태로, 사용자가 서버 인프라를 직접 관리하지 않고도 애플리케이션을 개발하고 실행할 수 있도록 하는 모델입니다. 여기서는 몇 가지 주요 개념과 특징을 설명하겠습니다.주요 개념 및 특징구분내용관리되지 않는 인프라사용자는 서버나 운영 체제를 관리할 필요 없이 애플리케이션 코드에만 집중할 수 있습니다. 서버 관리, 패치, 유지보수 등은 클라우드 제공자가 담당합니이벤트 기반 실행서버리스 애플리케이션은 이벤트(예: HTTP 요청, 데이터베이스 트리거, 파일 업로드 등)에 의해 트리거됩니다. 이는 애플리케이션이 특정 이벤트에 반응하여 실행된다는 의미입니다.자동 확장성서버리스 환경에서는 애플리케이션이 필요에 따라 자동으로 확장됩니다. 예를 들어, 특정 이벤..
[AWS] Lake Formation 알아보기 Lake Formation 데이터레이크(Data Lake)란? 데이터레이크는 정형 혹은 비정형 데이터에 상관 없이 어떤 규모에서도 저장 및 분석이 가능한 단일 저장소를 이야기 한다. 주요하게 기억해야 할 사항 데이터 형식에 제약이 없어야 한다. (정형, 비정형, 반정형 모두 지원되어야 한다) 규모에 제약이 없어야 한다. (다양한 규모의 데이터를 지원할 수 있어야 한다) 단일 저장소 형태여야 한다. 데이터레이크를 위한 필수 사항 : 모든 규모의 정형 및 비정형 데이터를 관리, 탐색, 공유, 분석 할 수 있는 유연하고 안전한 저장소 구분 내용 데이터 저장소 단일 지점에서 모든 데이터를 활용할 수 있어야 한다. 데이터 형식 다양한 데이터 형식을 모두 지원 가능해야 한다. 정형, 반정형, 비정형, 원시 데이터 ..
[AWS] 비구조화된 데이터 분석 (로그데이터 분석하기) AWS를 활용하면 분산 처리 기술인 하둡을 손쉽게 이용 가능하다. 1.구조화되지 않은 데이터 다루기 - 로그 데이터를 분석하기 위해서는 전처리를 해야만 합니다. 로그 파일은 단순한 텍스트 파일로, 컬럼 및 데이터형 / 자리수와 같은 스키마 정의가 엄격하게 구조화되어 있지 않기 때문입니다. - AWS의 레드시프트에 넣을 수 있는 것은 구조화된 데이터뿐이기 때문에 로그 파일에 정보들을 레드시프트에서 관리하기 위해서는 적합한 데이터 형식으로 변환해줘야 하는 작업이 필요합니다. - 필요한 데이터만 가져와 가져와야 합니다. 로그 데이터에는 우리가 분석하기 위해 필요한 데이터 뿐만 아니라 다양한 정보가 담겨져 있습니다. 그렇기 때문에 우리가 필요로 하는 데이터만 선별해서 가져와야 하는 작업이 필요합니다. - 데이터..

티스토리툴바