deepep (1) 썸네일형 리스트형 [DeepSeek 두번째 공개] DeepEP: Mixture-of-Experts를 위한 고성능 GPU 통신 라이브러리 DeepEP란 무엇인가?최근 Mixture-of-Experts(MoE) 모델이 대규모 AI 모델의 성능을 획기적으로 개선하면서, 이를 효율적으로 실행하기 위한 고성능 통신 기술이 필수적으로 요구되고 있습니다. 하지만 기존의 GPU 간 통신 방식은 높은 오버헤드와 지연 시간 문제로 인해 MoE 모델의 성능을 충분히 활용하지 못하는 경우가 많습니다.DeepEP는 이러한 문제를 해결하기 위해 개발된 MoE 및 전문가 병렬(Expert Parallelism, EP) 최적화 GPU 통신 라이브러리입니다. NVLink 및 RDMA(원격 직접 메모리 액세스)를 활용한 고성능 All-to-All 커널을 제공하며, 최신 FP8 및 BF16 저정밀 연산을 지원합니다. 또한, DeepSeek-V3 논문에서 제안된 그룹 제한.. 이전 1 다음
