엔비디아 코스모스3 슈퍼 4스텝 공개, 추론 90% 줄이고 오픈웨이트 AI 성능 높였다

AI 이미지와 영상을 생성할 때 모델의 성능만큼 중요한 것이 있습니다. 바로 얼마나 효율적으로 결과를 만들어내느냐입니다. 아무리 뛰어난 결과를 만들어내는 모델이라도 생성 과정에 많은 추론 단계가 필요하다면 실제 활용에서는 부담이 커질 수 있습니다.

엔비디아가 공개한 ‘코스모스3 슈퍼 4스텝(Cosmos3-Super 4Step)’은 이런 추론 효율성에 초점을 맞춘 오픈웨이트 AI 모델입니다. 기존 코스모스3 슈퍼 모델을 증류해 텍스트-이미지 생성은 50단계에서 4단계로, 이미지-비디오 생성은 35단계에서 4단계로 추론 과정을 줄였습니다.

특히 주목할 부분은 단순히 추론 단계를 줄이는 데 그치지 않았다는 점입니다. 엔비디아에 따르면 4스텝 모델은 추론 단계를 크게 줄이면서도 이미지와 영상 생성 성능을 유지했고, 관련 리더보드에서도 높은 평가를 받았습니다.

이번 글에서는 코스모스3 슈퍼 4스텝이 어떤 모델인지부터 모델 증류를 통한 추론 효율화, 성능 평가, 그리고 피지컬 AI를 위한 활용 방향까지 살펴보겠습니다.

반응형

코스모스3 슈퍼 4스텝은 어떤 모델인가

엔비디아는 640억 개의 파라미터를 가진 월드 파운데이션 모델 ‘코스모스3 슈퍼’를 기반으로 새로운 4스텝 증류 모델을 공개했습니다.

이번에 공개된 모델은 크게 두 가지입니다.

• 코스모스3-슈퍼-텍스트2이미지-4스텝
• 코스모스3-슈퍼-이미지2비디오-4스텝

텍스트2이미지 모델은 텍스트를 입력해 이미지를 생성하고, 이미지2비디오 모델은 이미지를 바탕으로 영상을 생성하는 방식입니다.

두 모델은 허깅페이스에 공개됐으며 상업적 활용도 허용됩니다. 따라서 이번 발표는 단순히 엔비디아가 새로운 생성형 AI 모델을 선보였다는 것보다, 오픈웨이트 기반의 고효율 이미지·영상 생성 모델을 공개했다는 점에서도 의미가 있습니다.

핵심은 50단계와 35단계를 4단계로 줄인 것

코스모스3 슈퍼 4스텝에서 가장 눈에 띄는 변화는 추론 단계입니다.

기존 텍스트-이미지 생성 과정은 50단계였지만 4스텝 모델에서는 이를 단 4단계로 줄였습니다. 이미지-비디오 생성도 기존 35단계에서 4단계로 단축했습니다.

정리하면 다음과 같습니다.

모델	기존 추론 단계	4스텝 모델
텍스트-이미지	50단계	4단계
이미지-비디오	35단계	4단계

단순히 숫자만 보면 상당한 변화입니다. 엔비디아는 모델 증류(Distillation) 기술을 활용해 기존 모델의 생성 능력을 더 적은 추론 단계에서 구현하도록 했습니다.

쉽게 말하면 복잡한 생성 과정을 그대로 반복하는 대신, 기존 모델이 가진 생성 능력을 더 적은 단계로 압축해 사용하는 방식이라고 볼 수 있습니다.

이 때문에 코스모스3 슈퍼 4스텝의 핵심은 ‘더 많은 계산으로 더 좋은 결과를 만드는 모델’보다는 ‘필요한 계산을 줄이면서도 결과 품질을 유지하는 모델’에 가깝습니다.

분류기 없는 가이드도 제거해 추론 효율성 높여

추론 단계 축소와 함께 눈여겨볼 부분은 분류기 없는 가이드(Classifier-Free Guidance)의 제거입니다.

일반적으로 생성 품질을 높이기 위해 사용되는 방식이지만, 코스모스3 슈퍼 4스텝에서는 이를 제거해 보다 빠르고 효율적인 추론이 가능하도록 설계했습니다.

결국 이번 모델은 두 가지 방향으로 추론 효율을 높였습니다.

첫 번째는 모델 증류를 통한 추론 단계 자체의 축소입니다.

두 번째는 분류기 없는 가이드를 제거해 생성 과정의 부담을 낮춘 것입니다.

특히 텍스트-이미지 생성의 추론 단계를 50단계에서 4단계로 줄이고, 이미지-비디오 생성도 35단계에서 4단계로 줄였다는 점에서 효율성을 핵심 목표로 삼았다는 것을 확인할 수 있습니다.

추론 단계를 줄였는데 성능은 유지할 수 있을까

여기서 자연스럽게 생기는 의문이 있습니다.

‘추론 단계를 이렇게 크게 줄이면 결과 품질도 떨어지는 것 아닌가?’

엔비디아가 공개한 성능 자료에서는 코스모스3 슈퍼 4스텝이 이러한 우려에 대해 경쟁력 있는 결과를 보여줬습니다.

AI 모델 평가 기관 아티피셜 애널리시스의 최신 리더보드에서 코스모스3-슈퍼-이미지2비디오-4스텝은 오픈웨이트 이미지-비디오 모델 가운데 1위를 기록했습니다. 전체 모델을 기준으로는 16위에 올랐습니다.

특히 기존 35단계 버전인 코스모스3-슈퍼-이미지2비디오보다 높은 순위를 기록했습니다.

즉, 단순히 추론 단계를 줄인 것뿐 아니라 기존 모델보다 높은 순위를 기록했다는 점에서 성능과 효율성을 동시에 보여준 것이 특징입니다.

텍스트-이미지 모델 역시 경쟁력을 보였습니다. 코스모스3-슈퍼-텍스트2이미지-4스텝은 텍스트-이미지 생성 부문에서 오픈웨이트 모델 기준 3위, 전체 모델 기준 25위를 기록했습니다.

따라서 이번 모델의 핵심은 ‘빠르게 만들기 위해 성능을 포기했다’고 보기보다는, 적은 추론 단계에서도 경쟁력 있는 성능을 유지하는 방향에 있다고 볼 수 있습니다.

코스모스3 슈퍼가 이미지 생성에만 머물지 않는 이유

코스모스3 슈퍼를 이해하려면 단순한 이미지·영상 생성 모델이라는 관점에서 벗어날 필요가 있습니다.

엔비디아는 코스모스3 제품군을 피지컬 AI를 위한 월드 파운데이션 모델로 개발하고 있습니다.

피지컬 AI는 로봇이나 자율주행차, 산업 자동화 시스템처럼 실제 물리적 환경에서 움직이고 판단하는 AI를 의미하는 방향으로 활용되고 있습니다.

이러한 시스템을 학습시키려면 다양한 환경과 상황을 경험할 수 있는 데이터가 필요합니다.

하지만 현실에서 모든 상황을 직접 촬영하고 데이터를 수집하는 데에는 한계가 있습니다. 특히 자주 발생하지 않는 상황이나 다양한 조건을 갖춘 환경을 실제로 모두 만들어 데이터를 수집하는 것은 쉽지 않습니다.

이 지점에서 코스모스3 슈퍼가 목표로 하는 월드 파운데이션 모델의 방향이 연결됩니다.

AI가 학습할 수 있는 대규모 합성 데이터와 시뮬레이션 영상을 생성하는 것입니다.

이미지 한 장으로 약 8초 영상 생성

코스모스3 슈퍼는 영상 생성 측면에서도 피지컬 AI 학습에 활용할 수 있는 기반을 갖추고 있습니다.

제공된 정보에 따르면 모델은 최대 720p 해상도의 영상을 생성할 수 있습니다. 또한 이미지 한 장을 입력하면 약 8초 분량의 영상을 생성하도록 설계됐습니다.

24fps를 기준으로 하면 약 189프레임에 해당합니다.

이를 정리하면 다음과 같습니다.

• 최대 해상도: 720p
• 입력: 이미지 한 장
• 생성 영상: 약 8초
• 기준 프레임 속도: 24fps
• 생성 프레임: 189프레임

이러한 기능은 단순히 재미있는 영상을 만드는 용도로만 바라볼 필요가 없습니다.

엔비디아가 코스모스3 제품군을 피지컬 AI용 월드 파운데이션 모델로 개발하고 있다는 점을 고려하면, 생성된 영상과 합성 데이터는 로봇이나 자율주행차, 산업 자동화 시스템이 다양한 환경을 학습하는 데 활용될 수 있습니다.

실제 환경에서 수집하기 어려운 데이터를 합성 데이터로 보완

피지컬 AI에서 데이터는 중요한 요소입니다.

로봇이나 자율주행 시스템이 다양한 상황에 대응하려면 다양한 환경과 조건에 대한 학습이 필요합니다. 그러나 실제 환경에서 모든 상황을 직접 만들어 데이터를 수집하기는 어렵습니다.

이때 합성 데이터가 활용될 수 있습니다.

예를 들어 실제 환경에서 쉽게 수집하기 어려운 다양한 상황을 영상으로 재현하고, 이를 학습 데이터로 활용하는 방식입니다.

코스모스3 슈퍼가 이미지와 영상 생성에 초점을 맞추면서도 피지컬 AI를 주요 목표로 삼고 있는 이유도 여기에 있습니다.

결국 이미지와 영상을 생성하는 기술이 로봇과 자율주행차 같은 실제 시스템을 학습시키기 위한 데이터 생성 기술로 확장되는 것입니다.

코스모스3 슈퍼 4스텝의 주요 특징 정리

이번에 공개된 코스모스3 슈퍼 4스텝의 특징을 정리하면 다음과 같습니다.

1. 추론 단계 대폭 축소

텍스트-이미지는 기존 50단계에서 4단계로, 이미지-비디오는 35단계에서 4단계로 줄였습니다.

2. 모델 증류 기반의 효율화

코스모스3 슈퍼를 기반으로 증류해 기존 모델의 생성 능력을 보다 적은 추론 단계에서 구현하도록 했습니다.

3. 분류기 없는 가이드 제거

생성 품질 향상을 위해 일반적으로 사용되는 분류기 없는 가이드를 제거해 추론 효율성을 높였습니다.

4. 오픈웨이트 모델 공개

두 모델 모두 허깅페이스에 공개됐으며 상업적 활용도 허용됩니다.

5. 경쟁력 있는 리더보드 성적

이미지-비디오 4스텝 모델은 오픈웨이트 모델 기준 1위, 텍스트-이미지 4스텝 모델은 오픈웨이트 모델 기준 3위를 기록했습니다.

6. 피지컬 AI를 위한 데이터 생성

이미지와 영상을 생성하는 것을 넘어 로봇, 자율주행차, 산업 자동화 시스템의 학습에 활용할 수 있는 합성 데이터와 시뮬레이션 영상 생성을 목표로 합니다.

코스모스3 슈퍼 4스텝이 보여주는 AI 모델의 변화

이번 발표에서 주목해야 할 부분은 단순히 ‘4스텝으로 영상을 만든다’는 사실만은 아닙니다.

AI 모델의 경쟁 기준이 점점 달라지고 있다는 점을 보여줍니다.

과거에는 얼마나 뛰어난 결과를 만들어내는지가 중요한 기준이었다면, 이제는 그 결과를 얼마나 효율적으로 만들어낼 수 있는지도 중요해지고 있습니다.

추론 단계가 많으면 그만큼 모델을 실행하는 과정에서 부담이 커질 수 있습니다. 반대로 생성 품질을 유지하면서 필요한 추론 단계를 줄일 수 있다면 AI 모델을 보다 효율적으로 활용할 가능성이 커집니다.

코스모스3 슈퍼 4스텝은 이러한 방향을 모델 증류라는 방식으로 보여줍니다.

특히 텍스트-이미지뿐 아니라 이미지-비디오까지 4단계 추론으로 줄였다는 점은 생성형 AI의 효율화가 이미지 생성에만 국한된 이야기가 아니라는 것을 보여주는 부분입니다.

728x90

엔비디아의 코스모스3 슈퍼 4스텝은 기존 코스모스3 슈퍼를 기반으로 추론 효율성을 크게 높인 오픈웨이트 AI 모델입니다.

텍스트-이미지 생성은 50단계에서 4단계로, 이미지-비디오 생성은 35단계에서 4단계로 추론 단계를 줄였습니다. 여기에 분류기 없는 가이드를 제거해 더욱 효율적인 추론을 목표로 했습니다.

그럼에도 아티피셜 애널리시스 리더보드에서 이미지-비디오 4스텝 모델이 오픈웨이트 모델 기준 1위, 텍스트-이미지 4스텝 모델이 3위를 기록하면서 성능 측면에서도 경쟁력을 보여줬습니다.

무엇보다 중요한 점은 코스모스3 슈퍼의 방향이 단순한 이미지·영상 생성에 머물지 않는다는 것입니다.

엔비디아는 이를 피지컬 AI를 위한 월드 파운데이션 모델로 개발하고 있으며, 로봇과 자율주행차, 산업 자동화 시스템이 학습할 수 있는 합성 데이터와 시뮬레이션 영상 생성에 활용하는 것을 목표로 하고 있습니다.

결국 코스모스3 슈퍼 4스텝은 ‘더 적은 추론으로도 높은 성능을 유지하는 생성형 AI’라는 기술적 방향과 함께, 생성형 AI를 실제 물리 환경에서 동작하는 피지컬 AI의 학습 데이터 생성 영역으로 확장하려는 엔비디아의 방향성을 함께 보여주는 모델이라고 할 수 있습니다.

향후 생성형 AI의 경쟁력은 단순히 얼마나 사실적인 이미지와 영상을 만들어내는지에 그치지 않고, 얼마나 효율적으로 생성하고 이를 실제 AI 시스템의 학습과 활용으로 연결할 수 있는지까지 중요한 기준이 될 것으로 보입니다.

300x250

https://huggingface.co/nvidia/Cosmos3-Super-Image2Video-4Step

nvidia/Cosmos3-Super-Image2Video-4Step · Hugging Face