[데이터베이스] 샤딩(Sharding)이란 무엇인가?

샤딩(Sharding)은 데이터베이스나 블록체인 시스템에서 데이터의 처리를 효율적으로 하기 위해 데이터를 여러 개의 작은 단위로 나누는 기술을 말합니다. 이를 통해 시스템의 확장성과 성능을 향상시킬 수 있습니다.

샤딩의 주요 개념은 데이터베이스를 수평적으로 분할하여 각 샤드(Shard)가 전체 데이터의 일부만을 저장하고 처리하게 만드는 것입니다. 예를 들어, 대규모 데이터베이스에서 특정 사용자 그룹을 하나의 샤드에, 다른 사용자 그룹을 다른 샤드에 저장함으로써 데이터베이스의 부하를 분산시킬 수 있습니다.

https://academy.gopax.co.kr/syadingiran-mueosingayo/

샤딩은 왜 필요한가?

딩이 필요한 이유는 주로 데이터베이스나 블록체인 시스템의 확장성과 성능을 향상시키기 위해서입니다. 다음은 샤딩이 필요한 주요 이유들입니다:

1. 확장성(Scalability): 데이터베이스나 블록체인 시스템의 사용자 수가 증가하거나 저장해야 할 데이터의 양이 크게 늘어날 때, 단일 서버나 단일 데이터베이스로는 이를 감당하기 어려울 수 있습니다. 샤딩을 통해 데이터를 여러 샤드에 분산 저장함으로써 시스템이 더 많은 데이터를 효율적으로 처리할 수 있게 됩니다.
2. 성능 향상(Performance Improvement): 데이터가 단일 데이터베이스에 집중되면, 읽기 및 쓰기 작업이 병목현상을 초래할 수 있습니다. 샤딩은 데이터를 분산시켜 병목현상을 줄이고, 많은 요청을 동시에 처리할 수 있도록 합니다.
3. 가용성(Availability): 샤딩을 통해 시스템이 분산되어 있으면, 하나의 샤드에 문제가 발생하더라도 전체 시스템이 다운되지 않고, 다른 샤드는 계속해서 정상적으로 작동할 수 있습니다. 이는 시스템의 가용성을 높이는 데 중요한 역할을 합니다.
4. 관리 용이성(Manageability): 매우 큰 데이터베이스를 관리하는 것은 복잡하고 어려울 수 있습니다. 샤딩을 통해 데이터를 작은 단위로 나누면, 각 샤드를 독립적으로 관리할 수 있어 전체 시스템 관리가 더 쉬워집니다.
5. 비용 효율성(Cost Efficiency): 단일 고성능 서버를 사용하는 대신, 여러 저비용 서버를 사용하여 데이터를 분산 저장할 수 있어 비용 효율성을 높일 수 있습니다.

이러한 이유들로 인해, 샤딩은 대규모 데이터베이스나 블록체인 시스템에서 중요한 기술로 사용되고 있습니다.

수평적 파티셔닝과 샤딩에 차이점

수평적 파티셔닝과 샤딩은 데이터베이스의 성능과 확장성을 개선하기 위해 데이터를 분할하는 방법이지만, 그 목적과 구현 방식에서 차이가 있습니다.

수평적 파티셔닝 (Horizontal Partitioning)	샤딩 (Sharding)
수평적 파티셔닝은 데이터베이스 테이블의 행(row)을 기준으로 데이터를 분할하는 방법입니다. 주로 단일 데이터베이스 내에서 데이터를 나누어 저장합니다. 목적: 주로 데이터베이스의 성능을 향상시키거나 특정 쿼리의 성능을 개선하기 위해 사용됩니다. 구현: 동일한 데이터베이스 내에서 여러 파티션을 생성하여 데이터를 나누어 저장합니다. 예를 들어, 고객 데이터를 고객 ID 범위에 따라 여러 파티션으로 나눌 수 있습니다. 예시: 고객 테이블을 고객 ID 1-1000, 1001-2000 등의 범위로 나누어 각 범위별로 데이터를 저장하는 방식입니다.	샤딩은 수평적 파티셔닝의 한 형태로, 데이터를 여러 독립적인 데이터베이스 또는 서버에 분산하여 저장하는 방법입니다. 주로 대규모 시스템에서 사용되며, 각 샤드는 독립적으로 운영됩니다. 목적: 대규모 데이터베이스의 확장성을 극대화하고, 성능을 향상시키며, 장애가 발생했을 때 시스템의 가용성을 높이기 위해 사용됩니다. 구현: 데이터를 여러 샤드(서버 또는 데이터베이스)로 나누어 저장합니다. 각 샤드는 독립적인 데이터베이스 인스턴스로 동작하며, 데이터베이스 간의 데이터를 분산 및 관리합니다. 예시: 고객 데이터를 고객 ID에 따라 여러 데이터베이스 서버로 분산하여 저장하는 방식입니다. 예를 들어, 고객 ID 1-1000은 서버 A에, 1001-2000은 서버 B에 저장합니다.

<그림 출처: https://nesoy.github.io/articles/2018-05/Database-Shard>

주요 차이점 요약

• 범위: 수평적 파티셔닝은 주로 단일 데이터베이스 내에서 이루어지지만, 샤딩은 여러 데이터베이스 또는 서버에 걸쳐 데이터가 분산됩니다.
• 목적: 수평적 파티셔닝은 주로 성능 향상과 관리 용이성을 위해 사용되며, 샤딩은 주로 확장성과 가용성을 극대화하기 위해 사용됩니다.
• 복잡성: 샤딩은 여러 데이터베이스 서버를 관리해야 하므로 구현과 관리가 더 복잡합니다.

이와 같이, 수평적 파티셔닝과 샤딩은 데이터베이스의 성능과 확장성을 개선하기 위한 방법이지만, 적용되는 범위와 목적에 따라 차이가 있습니다.

샤딩의 장점

샤딩은 대규모 데이터베이스 시스템의 성능과 확장성을 개선하기 위해 사용되는 기술입니다. 데이터를 여러 개의 독립적인 데이터베이스(샤드)로 분할하여 관리함으로써, 여러 장점을 제공합니다.

구분	내용
확장성 향상	샤딩은 시스템의 확장성을 크게 향상시킵니다. 데이터와 트래픽이 증가함에 따라, 추가적인 샤드를 도입하여 시스템을 수평적으로 확장할 수 있습니다. 이는 데이터베이스의 용량을 쉽게 늘릴 수 있게 해주며, 대규모 사용자 기반과 데이터를 효율적으로 관리할 수 있습니다.
성능 개선	데이터를 여러 샤드로 분산시킴으로써, 개별 샤드에서의 데이터 처리와 조회가 더 빨라집니다. 이는 쿼리 응답 시간을 단축시키고, 시스템의 전반적인 성능을 향상시킵니다. 특히, 병렬 처리가 가능해짐으로써, 여러 요청을 동시에 더 빠르게 처리할 수 있습니다.
고가용성	샤딩은 시스템의 가용성을 높여줍니다. 하나의 샤드에 문제가 발생해도, 다른 샤드는 영향을 받지 않고 정상적으로 작동하여, 전체 시스템의 다운타임을 최소화합니다. 이는 비즈니스 연속성을 보장하는 데 중요한 역할을 합니다.
부하 분산	샤딩은 시스템의 부하를 효율적으로 분산시킵니다. 데이터와 트래픽이 여러 샤드에 균등하게 분산되어 처리되기 때문에, 특정 지점에 과부하가 집중되는 것을 방지할 수 있습니다. 이는 시스템의 안정성을 높이고, 피크 시간에도 사용자 경험을 개선합니다.
데이터 관리의 용이성	큰 데이터베이스를 여러 샤드로 분할함으로써, 데이터 관리가 더 용이해집니다. 개별 샤드에서 데이터를 더 쉽게 백업, 복구, 유지보수할 수 있으며, 데이터베이스의 성능 최적화도 더 효율적으로 수행할 수 있습니다.
비용 효율성	샤딩은 고성능의 하드웨어 대신, 여러 대의 저렴한 서버를 사용하여 데이터를 분산 저장할 수 있게 해줍니다. 이는 전체 시스템의 비용을 절감할 수 있으며, 비용 대비 성능 측면에서 더 효율적인 운영이 가능합니다.

샤딩에 종류 알아보기

모듈러 샤딩 (Modular Sharding)

https://velog.io/@kyeun95/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4-%EC%83%A4%EB%94%A9Sharding%EC%9D%B4%EB%9E%80

개념: 모듈러 샤딩은 해시 함수를 사용하여 데이터를 샤드에 분배하는 방법입니다. 주로 일관된 해싱(Consistent Hashing) 기법을 사용합니다.

동작 방식:

1. 해시 함수 적용: 데이터의 키(예: 사용자 ID, 주문 ID 등)를 해시 함수에 입력하여 해시 값을 생성합니다.
2. 모듈 연산: 생성된 해시 값을 샤드의 수로 나눈 나머지 값을 계산합니다.
3. 샤드 할당: 나머지 값에 해당하는 샤드에 데이터를 할당합니다.

예시: 사용자 ID가 123인 데이터를 저장할 때, 해시 함수로 해시 값을 계산하고, 이를 샤드 수(예: 4)로 나눈 나머지 값을 구합니다. 나머지 값이 3이라면, 해당 데이터는 샤드 3에 저장됩니다.

레인지 샤딩 (Range Sharding)

https://velog.io/@kyeun95/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4-%EC%83%A4%EB%94%A9Sharding%EC%9D%B4%EB%9E%80

개념: 레인지 샤딩은 데이터의 범위에 따라 샤드를 나누는 방법입니다. 주로 연속된 숫자나 날짜와 같은 데이터에 적합합니다.

동작 방식:

1. 범위 설정: 데이터 키의 범위에 따라 샤드를 미리 정의합니다.
2. 범위 매핑: 데이터 키가 어느 범위에 속하는지 판단하여 해당 범위에 맞는 샤드에 데이터를 저장합니다.

예시: 사용자 ID가 1부터 1000인 데이터는 샤드 1에, 1001부터 2000인 데이터는 샤드 2에 저장하는 식으로 범위를 나눕니다. 사용자 ID가 1500이라면 샤드 2에 저장됩니다.

디렉토리 샤딩 (Directory Sharding)

https://velog.io/@kyeun95/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4-%EC%83%A4%EB%94%A9Sharding%EC%9D%B4%EB%9E%80

개념: 디렉토리 샤딩은 중앙 디렉토리를 사용하여 각 데이터 키가 어느 샤드에 저장될지를 매핑하는 방법입니다.

동작 방식:

1. 디렉토리 생성: 중앙 디렉토리를 생성하여 각 데이터 키와 샤드의 매핑 정보를 저장합니다.
2. 디렉토리 조회: 데이터를 저장하거나 조회할 때, 중앙 디렉토리를 조회하여 해당 데이터가 저장된 샤드를 찾습니다.
3. 데이터 저장/조회: 디렉토리에서 찾은 샤드에 데이터를 저장하거나 조회합니다.

예시: 사용자 ID가 123인 데이터를 저장할 때, 중앙 디렉토리에서 사용자 ID 123이 샤드 2에 매핑되어 있음을 확인하고, 해당 샤드에 데이터를 저장합니다.

요약

• 모듈러 샤딩: 해시 함수와 모듈 연산을 사용하여 데이터를 분배합니다.
• 레인지 샤딩: 데이터 키의 범위에 따라 샤드를 나눕니다.
• 디렉토리 샤딩: 중앙 디렉토리를 사용하여 데이터 키와 샤드 매핑 정보를 관리합니다.

각 샤딩 방식은 특정 상황에 따라 장단점이 있으며, 시스템의 요구 사항과 데이터 특성에 따라 적절한 방식을 선택하는 것이 중요합니다.