클라우드 시대의 데이터 아키텍처 변화: S3가 네트워크가 되는 이유

이 글은 클라우드 오브젝트 스토리지, 특히 AWS S3를 중심으로 데이터베이스 아키텍처가 어떻게 바뀌고 있는지를 설명합니다. 전통적으로 데이터는 컴퓨트와 최대한 가까이 있어야 빠르다는 전제가 있었지만, 클라우드 환경에서는 이 가정 자체가 흔들리고 있습니다. S3와 같은 클라우드 오브젝트 스토리지가 단순한 저장소를 넘어 ‘사실상의 네트워크’ 역할을 하게 된 배경과 그로 인해 등장한 새로운 아키텍처 패턴, 그리고 이를 실제로 구현한 TiDB X 사례까지 정리합니다.

반응형

---

기존 분산 데이터베이스의 한계

수십 년 동안 분산 데이터베이스는 “스토리지는 컴퓨트 가까이에 있어야 한다”는 전제 위에서 설계돼 왔습니다.
데이터가 네트워크를 통해 멀리 이동할수록 지연이 커진다고 봤기 때문입니다.

그래서 로컬 RAID, NAS, 클러스터 파일 시스템처럼 컴퓨트와 가까운 저장소 구조가 일반적이었습니다. 문제는 확장성입니다.

• 노드나 클러스터를 늘릴 때마다 데이터도 함께 복제해야 함
• 확장이 느리고 운영이 복잡해짐
• 비용이 계속 증가함

그럼에도 불구하고 다른 선택지가 없었습니다. 네트워크는 지금처럼 안정적이지 않았고, SLA를 만족하려면 데이터베이스 설계자가 직접 복제, 조정, 일관성 문제를 해결해야 했기 때문입니다.

---

클라우드 오브젝트 스토리지란 무엇인가

클라우드 오브젝트 스토리지는 구조 자체가 단순합니다.
API를 통해 키/값 형태로 접근하는 거대한 데이터 저장소입니다.

대표적인 서비스로는 다음이 있습니다.

• AWS S3
• Google Cloud Storage
• Microsoft Azure Blob Storage

이 서비스들이 혁신적인 이유는 세 가지입니다.

1. 사실상 무제한 용량
   수십억 개의 이미지, 로그, 학습 데이터까지 제한 없이 저장 가능
2. 전 세계 어디서나 접근 가능
   특정 서버나 리전에 종속되지 않음
3. 높은 신뢰성과 가용성
   S3는 99.999999999%의 내구성과 99.99%의 가용성을 제공하며, 데이터는 자동으로 여러 시설에 복제됨

속도만 보면 로컬 스토리지보다 느릴 수 있습니다. 하지만 대신 운영 부담이 거의 없고, 물리 디스크 관리나 복제 전략을 직접 고민할 필요가 없습니다.

이로 인해 클라우드 오브젝트 스토리지는 항상 켜져 있고, 강한 일관성을 가진 단일 진실의 원천(single source of truth) 역할을 하게 됩니다.

---

“S3는 새로운 네트워크”라는 의미

기존에는 네트워크가 느리고 불안정했기 때문에 데이터는 컴퓨트 옆에 두는 것이 최선이었습니다.
하지만 이제는 상황이 달라졌습니다.

• 오브젝트 스토리지는 항상 접근 가능하고
• 자동 복제와 강한 일관성을 제공하며
• 합리적인 시간 안에 데이터를 전달할 수 있음

그 결과, 데이터베이스는 더 이상 샤딩, 세그먼트, 복잡한 네트워크 설계를 직접 고민하지 않아도 됩니다.
필요할 때 S3에서 데이터를 가져오면 된다는 전제가 가능해졌기 때문입니다.

이 관점에서 보면, 클라우드 오브젝트 스토리지는 단순한 저장소가 아니라 분산 시스템의 통신 기반, 즉 네트워크 역할을 하게 됩니다.

---

오브젝트 스토리지를 중심으로 등장한 아키텍처 패턴

1. 일시적 컴퓨트 클러스터(Ephemeral Compute)

스토리지와 컴퓨트를 완전히 분리하면, 특정 작업을 위해 클러스터를 잠깐 띄웠다가 바로 종료할 수 있습니다.
데이터를 복제할 필요가 없기 때문입니다.

이는 임시 데이터베이스를 자주 생성하는 AI 에이전트 환경에 특히 적합합니다.

---

2. 이벤트 기반 워크플로우

S3에 새로운 객체가 저장되면 다음과 같은 작업을 바로 트리거할 수 있습니다.

• Lambda 함수 실행
• 학습 작업 시작
• 후속 시스템에 알림 전송

데이터가 단일 저장소에 중앙화돼 있기 때문에 가능한 구조입니다.

---

3. AI·ML 파이프라인

머신러닝 환경에서는 다음 데이터들이 오브젝트 스토리지에 자연스럽게 모입니다.

• 학습 데이터셋
• 피처 스토어
• 모델 체크포인트
• 실험 로그

TensorFlow, PyTorch, SageMaker 같은 프레임워크도 오브젝트 스토리지에서 직접 데이터를 스트리밍하도록 설계돼 있습니다.

---

4. 대규모 스토리지 티어링

데이터베이스는 보통 데이터를 다음처럼 나눕니다.

• 자주 접근하는 핫 데이터
• 거의 접근하지 않는 콜드 데이터

기존에는 이를 위해 수동 설정과 용량 계획이 필요했습니다.
하지만 오브젝트 스토리지를 활용하면, 데이터베이스가 접근 패턴에 따라 자동으로 데이터를 이동시키며 관리할 수 있습니다.

무한에 가까운 용량과 항상 가용한 저장소 덕분에 사전 계획이 필요 없어집니다.

---

사례: TiDB X의 오브젝트 스토리지 기반 아키텍처

PingCAP은 TiDB X에서 클라우드 오브젝트 스토리지를 아키텍처의 핵심으로 사용합니다.

핵심 구조

• 컴퓨트와 스토리지를 완전히 분리
• S3를 공통 백엔드 스토리지로 사용
• 컴퓨트 노드는 독립적으로 확장 및 축소 가능
• 로컬 캐시와 Raft를 활용해 핫 데이터의 지연 최소화

TiDB X는 전체 데이터를 컴퓨트 옆에 두지 않습니다.
대신 가장 활발히 사용되는 데이터만 캐시로 유지하고, 나머지는 오브젝트 스토리지에 둡니다.

쿼리 패턴, 지연 시간 목표, 데이터 특성을 지속적으로 관찰하며 스스로 구조를 조정합니다.

---

운영 측면의 장점

• 복구와 백업 단순화
  S3가 기본 영속 스토리지이기 때문에 별도의 백업 관리 부담 감소
• 장애 대응 강화
  노드 장애 시 로컬 상태는 캐시에 불과하므로, 새 노드는 오브젝트 스토리지에서 상태를 다시 가져와 빠르게 복구 가능
• 비용 효율적인 자동 확장
  단순한 리소스 임계치가 아니라, 쿼리 패턴과 데이터 특성을 기반으로 자동 스케일링

이 구조는 일관성과 확장성을 희생하지 않으면서도 단순성과 탄력성을 동시에 확보합니다.

---

728x90

데이터베이스 설계의 전제가 바뀌고 있다

과거에는 느린 네트워크를 보완하기 위해 복잡한 아키텍처가 필요했습니다.
하지만 S3와 같은 클라우드 오브젝트 스토리지는 그 전제를 무너뜨렸습니다.

데이터는 이제 특정 위치에 묶이지 않고, 어디서나 접근 가능하며, 항상 신뢰할 수 있는 상태로 존재합니다.
이 변화는 임시 컴퓨트, AI 중심 워크로드, 자동 확장 데이터베이스 같은 새로운 패턴을 가능하게 합니다.

앞으로의 데이터베이스는 더 단순해지고, 더 유연해지며, 거의 노력 없이 확장될 것입니다.
그리고 그 중심에는 ‘스토리지’가 아니라, 네트워크가 된 오브젝트 스토리지가 자리하고 있습니다.

300x250

https://thenewstack.io/4-data-architecture-decisions-that-make-or-break-agentic-systems-2/?utm_campaign=trueanthem&utm_medium=social&utm_source=facebook&fbclid=IwY2xjawPv1zRleHRuA2FlbQIxMQBzcnRjBmFwcF9pZBAyMjIwMzkxNzg4MjAwODkyAAEeNa_f3PY4eXbuEPULE9Jcay7QJ_pM2RfQpwXEizqquOUK-xp5cRiRCjAyuSM_aem_hBptqsgynjmyRqAD5BnyQQ

S3 is the new network: Rethinking data architecture for the cloud era