초거대 AI 학습을 가속하는 슈퍼컴퓨터 네트워크, OpenAI의 MRC 프로토콜 완전 정리

초거대 AI 모델을 학습시키기 위해서는 단순히 GPU를 많이 연결하는 것만으로는 충분하지 않습니다. 수십만 개의 GPU가 동시에 데이터를 주고받는 환경에서는 네트워크 성능과 안정성이 곧 AI 학습 속도를 결정하기 때문입니다. 특히 하나의 데이터 전송이 지연되면 전체 학습 작업이 멈추거나 GPU가 대기 상태에 들어가는 문제가 발생할 수 있습니다.

OpenAI는 이러한 문제를 해결하기 위해 AMD, Broadcom, Intel, Microsoft, NVIDIA와 함께 새로운 네트워크 프로토콜인 MRC(Multipath Reliable Connection)를 개발했습니다. MRC는 AI 슈퍼컴퓨터 환경에서 네트워크 병목과 장애를 최소화하고, 대규모 GPU 클러스터를 더욱 효율적으로 운영하기 위한 기술입니다.

이번 글에서는 OpenAI가 공개한 MRC의 구조와 핵심 개념, 기존 네트워크 구조와의 차이점, 그리고 실제 초대형 AI 학습 환경에서 어떤 효과를 만들어내는지 자세히 정리해보겠습니다.

반응형

---

왜 AI 학습 네트워크는 새로운 구조가 필요했을까

대규모 AI 모델 학습에서는 단 한 번의 학습 단계에서도 수백만 건 이상의 데이터 전송이 발생합니다. 이 과정에서 하나의 패킷이라도 늦게 도착하면 전체 GPU 동기화가 지연될 수 있습니다.

특히 GPT와 같은 초거대 모델 학습은 다음과 같은 특징을 가집니다.

• 수많은 GPU가 동시에 동작
• 동기식(Synchronous) 학습 구조 사용
• 네트워크 지연이 전체 성능에 직접 영향
• 장애 발생 시 전체 학습 작업 중단 가능

기존 네트워크 환경에서는 다음과 같은 문제가 반복적으로 발생했습니다.

네트워크 혼잡(Congestion)

여러 GPU가 동일한 목적지로 동시에 데이터를 전송하면 특정 링크에 트래픽이 집중됩니다. 이로 인해 일부 패킷 전송이 지연되며 전체 학습 속도가 느려집니다.

링크 및 스위치 장애

GPU 수가 많아질수록 링크 장애나 스위치 오류는 사실상 상시 발생하는 수준이 됩니다. 기존 방식에서는 단일 장애만 발생해도 전체 학습 작업이 재시작되는 경우가 많았습니다.

복잡한 라우팅 구조

기존 데이터센터 네트워크는 BGP 기반 동적 라우팅에 의존했습니다. 하지만 AI 슈퍼컴퓨터 수준의 규모에서는 라우팅 계산 자체가 부담이 되며, 장애 복구에도 수 초 이상이 소요될 수 있었습니다.

---

OpenAI의 해답, MRC(Multipath Reliable Connection)

MRC는 기존 RoCE(RDMA over Converged Ethernet)를 확장한 새로운 네트워크 프로토콜입니다.

핵심 목표는 단순합니다.

• 네트워크 혼잡 최소화
• 장애 발생 시 즉각 우회
• GPU 유휴 시간 제거
• 초대형 GPU 클러스터 안정화

OpenAI는 이를 위해 다음 세 가지 핵심 기술을 결합했습니다.

1. Multi-plane Network
2. Adaptive Packet Spraying
3. SRv6 기반 Source Routing

---

Multi-plane Network 구조란 무엇인가

기존 네트워크는 하나의 800Gb/s 연결을 하나의 경로처럼 사용했습니다.

반면 MRC는 이를 여러 개의 작은 링크로 분할합니다.

예를 들어:

• 기존: 800Gb/s 링크 1개
• MRC: 100Gb/s 링크 8개

즉, 하나의 네트워크를 여러 개의 병렬 네트워크 Plane으로 나누는 방식입니다.

이 구조의 장점

장애 대응력이 크게 향상

하나의 링크가 실패해도 나머지 Plane이 계속 동작합니다.

스위치 계층 감소

기존 800Gb/s 기반 구조에서는 3~4단계 스위치 계층이 필요했지만, MRC는 2단계만으로 약 13만 개 GPU를 연결할 수 있습니다.

이는 다음 효과로 이어집니다.

• 전력 사용 감소
• 스위치 수 감소
• 장애 가능성 감소
• 네트워크 비용 절감

트래픽 지역화(Locality)

더 많은 트래픽이 Tier-0 스위치 내부에서 처리되어 지연이 감소합니다.

---

기존 네트워크의 한계: Single Path 문제

기존 RoCE 기반 AI 네트워크는 하나의 데이터 흐름(Flow)이 단일 경로만 사용했습니다.

이 방식의 문제는 명확합니다.

• 특정 링크에 트래픽 집중
• 일부 링크 혼잡 발생
• 사용 가능한 네트워크 Plane 활용 불가
• 병목 발생 시 전체 학습 지연

특히 AI 학습은 가장 느린 GPU 속도에 전체 작업이 맞춰지기 때문에 일부 지연만 발생해도 전체 성능이 크게 하락합니다.

---

MRC 핵심 기술 ① Packet Spraying

MRC는 기존 구조를 완전히 바꿨습니다.

하나의 데이터 전송을 단일 경로로 보내는 대신, 패킷을 수백 개 경로로 분산 전송합니다.

이를 Packet Spraying이라고 합니다.

어떻게 동작하는가

MRC는:

• 여러 Plane에 동시에 패킷 분산
• 서로 다른 경로로 전송
• 패킷 순서가 달라도 수신 가능

하도록 설계되었습니다.

일반적으로 네트워크는 패킷 순서가 뒤바뀌면 문제가 발생하지만, MRC 패킷은 최종 메모리 주소 정보를 포함하기 때문에 순서와 관계없이 GPU 메모리에 바로 기록할 수 있습니다.

Packet Spraying의 효과

네트워크 Hotspot 제거

특정 링크에 트래픽이 몰리지 않습니다.

병목 최소화

트래픽이 자동 분산되며 네트워크 전체 부하가 균형을 유지합니다.

동기식 학습 성능 향상

느린 패킷으로 인해 전체 GPU가 대기하는 현상이 크게 줄어듭니다.

---

MRC 핵심 기술 ② Adaptive Load Balancing

MRC는 단순히 패킷을 분산하는 것에서 끝나지 않습니다.

각 경로의 상태를 지속적으로 모니터링합니다.

만약 특정 경로에서:

• 혼잡 발생
• 패킷 손실 발생
• 장애 감지

상황이 발생하면 즉시 다른 경로로 우회합니다.

이 과정은 마이크로초 단위로 이루어집니다.

기존 네트워크에서는 장애 복구에 수 초에서 수십 초가 걸렸던 것과 비교하면 매우 큰 차이입니다.

---

MRC 핵심 기술 ③ Packet Trimming

패킷 손실이 항상 장애 때문인 것은 아닙니다.

목적지 스위치 혼잡 때문에 패킷 드롭이 발생할 수도 있습니다.

MRC는 이를 구분하기 위해 Packet Trimming 기법을 사용합니다.

동작 방식

패킷을 완전히 폐기하지 않고:

• Payload 제거
• Header만 전달

합니다.

수신 측은 이를 기반으로 재전송을 요청합니다.

이를 통해 단순 혼잡 상황을 실제 장애로 오판하는 문제를 줄일 수 있습니다.

---

SRv6 기반 Source Routing 구조

기존 네트워크는 BGP 같은 동적 라우팅 프로토콜을 사용했습니다.

하지만 OpenAI는 MRC 환경에서 동적 라우팅 자체를 제거했습니다.

대신 SRv6(Segment Routing over IPv6)를 사용합니다.

SRv6란 무엇인가

패킷 송신자가 패킷이 지나갈 전체 경로를 직접 지정하는 방식입니다.

즉:

• 어떤 스위치를 거칠지
• 어떤 Plane을 사용할지
• 어떤 경로로 우회할지

를 송신 측이 결정합니다.

왜 중요한가

기존 동적 라우팅은:

• 라우팅 재계산 필요
• 장애 전파 시간 존재
• 복잡한 제어 구조 필요

하지만 SRv6 기반 MRC는:

• 경로가 고정
• 장애 시 즉시 다른 경로 사용
• 스위치는 단순 전달만 수행

하기 때문에 네트워크 제어 구조 자체가 매우 단순해집니다.

---

실제 OpenAI 슈퍼컴퓨터에서의 효과

MRC는 이미 OpenAI의 NVIDIA GB200 기반 슈퍼컴퓨터 환경에 적용되고 있습니다.

대표적으로:

• Oracle Cloud Infrastructure(OCI) Abilene 데이터센터
• Microsoft Fairwater 슈퍼컴퓨터

등에서 실제 AI 모델 학습에 사용 중입니다.

실제 운영 중 확인된 효과

링크 장애 발생 시 학습 지속

기존에는 GPU와 스위치 간 링크 하나만 끊겨도 전체 학습이 실패했습니다.

MRC는 남은 Plane을 활용해 학습을 계속 진행합니다.

스위치 재부팅 중에도 학습 유지

OpenAI는 실제 GPT 및 Codex 학습 중 Tier-1 스위치 4개를 재부팅했지만, 별도 작업 중단 없이 학습을 지속할 수 있었다고 설명했습니다.

네트워크 유지보수 단순화

이전에는 유지보수를 위해 링크를 비활성화해야 했지만, MRC 환경에서는 일부 장애 상태에서도 자동 우회가 가능하기 때문에 운영 부담이 크게 줄어듭니다.

---

MRC가 가져온 핵심 변화

1. 10만 개 이상 GPU 연결 가능

2계층 스위치 구조만으로 초대형 GPU 클러스터 구성이 가능해졌습니다.

2. 네트워크 병목 최소화

Adaptive Packet Spraying으로 코어 네트워크 혼잡을 사실상 제거했습니다.

3. 장애 복구 시간 획기적 감소

기존 수 초 단위 복구가 마이크로초 단위로 단축되었습니다.

4. 더 단순한 네트워크 제어

SRv6 기반 정적 라우팅으로 복잡한 동적 라우팅 문제를 제거했습니다.

5. AI 학습 효율 극대화

GPU 유휴 시간을 줄여 전체 모델 학습 시간을 단축할 수 있습니다.

---

728x90

초거대 AI 시대에서 네트워크는 단순한 인프라가 아니라 AI 성능 자체를 결정하는 핵심 요소가 되고 있습니다.

OpenAI의 MRC는 단순한 네트워크 최적화 기술이 아니라:

• 초대형 AI 슈퍼컴퓨터 구조 변화
• AI 데이터센터 설계 방식 변화
• GPU 클러스터 운영 방식 변화

까지 이끌 수 있는 새로운 접근 방식이라고 볼 수 있습니다.

특히 Multi-plane Network, Packet Spraying, SRv6 Source Routing을 결합해 네트워크 혼잡과 장애를 최소화한 점은 앞으로의 AI 인프라 설계에 큰 영향을 줄 가능성이 높습니다.

향후 AI 모델 규모가 더 커질수록 GPU 자체 성능뿐 아니라 이를 연결하는 네트워크 기술 경쟁 역시 더욱 중요해질 것으로 보입니다.

300x250

https://openai.com/index/mrc-supercomputer-networking/

Supercomputer networking to accelerate large scale AI training