엔비디아 범용 게임 에이전트 ‘나이트로젠(NitroGen)’ 공개 - 게임을 넘어 로봇 공학까지 확장되는 체화 AI의 가능성

이번 글에서는 엔비디아가 공개한 **범용 게임 AI 에이전트 ‘나이트로젠(NitroGen)’**에 대해 정리합니다.
나이트로젠은 게임 화면만 보고 사람처럼 조작할 수 있는 비전-행동 파운데이션 모델로, 방대한 게임 플레이 데이터를 학습해 처음 접하는 환경에서도 스스로 판단하고 행동할 수 있다는 점에서 주목받고 있습니다. 특히 이 기술은 단순한 게임 AI를 넘어, 로봇 공학과 실제 환경에서의 체화 AI(Embodied AI) 발전에 중요한 전환점이 될 수 있다는 평가를 받고 있습니다.

반응형

---

나이트로젠이란 무엇인가?

나이트로젠은 엔비디아, 스탠포드대학교, 칼텍 공동 연구진이 공개한 범용 게임 에이전트용 비전-행동 파운데이션 모델입니다.
이 모델은 게임 화면을 입력으로 받아, 인간 플레이어처럼 버튼을 누르고 조이스틱을 움직이며 게임을 수행합니다.

기존 AI가 텍스트 이해나 이미지 인식에서는 큰 성과를 냈던 반면, 실제로 “행동”을 학습하는 체화 AI 분야는 상대적으로 발전이 느렸습니다. 그 이유는 AI가 배울 수 있는 대규모 행동 데이터가 부족했기 때문입니다. 나이트로젠은 이 문제를 해결하기 위해 비디오 게임이라는 환경에 주목했습니다.

---

비디오 게임을 선택한 이유

게임은 체화 AI 학습에 매우 적합한 환경입니다.

• 화면 정보가 풍부하고 상황 변화가 잦음
• 다양한 조작 방식과 행동 패턴 존재
• 실제 세계와 유사한 의사결정 구조 제공

연구진은 트위치와 같은 플랫폼에 공개된 게임 영상 중, 플레이 화면과 함께 게임패드 입력이 표시된 ‘입력 오버레이(input overlay)’ 영상을 대규모로 수집했습니다.
이를 통해 AI가 실제로 어떤 버튼을 누르고, 조이스틱을 어떻게 움직였는지를 복원할 수 있었습니다.

그 결과,

• 조이스틱 움직임 재현 정확도 평균 84%
• 버튼 입력 재현 정확도 96%
  라는 높은 성능을 달성했습니다.

---

학습 데이터와 모델 기반

나이트로젠은 다음과 같은 방대한 학습 데이터를 기반으로 합니다.

• 1,000개 이상의 게임
• 총 4만 시간 분량의 게임 영상
• 액션, RPG, 어드벤처 등 다양한 장르 고르게 포함

모델 아키텍처는 엔비디아가 로봇 공학을 위해 설계한 **‘GR00T N1.5’**를 기반으로 하고 있어, 게임을 넘어 실제 환경으로 확장될 수 있는 구조를 갖추고 있습니다.

---

나이트로젠의 3가지 핵심 구성 요소

나이트로젠은 다음 세 가지 요소로 구성됩니다.

1. 멀티게임 파운데이션 에이전트
   • 여러 게임을 하나의 모델로 바로 플레이 가능
   • 특정 게임에만 특화되지 않은 범용성 확보
2. 범용 시뮬레이터
   • 상용 게임을 공통된 방식으로 제어
   • 다양한 게임 환경을 동일한 인터페이스로 다룸
3. 대규모 비디오-행동 데이터셋
   • 인터넷에서 수집한 실제 플레이 기반 데이터
   • 행동 학습의 범위와 다양성을 크게 확장

이 조합 덕분에 나이트로젠은 범용 행동 학습이 가능해졌습니다.

---

실험 결과와 기존 AI와의 차별점

실험 결과도 인상적입니다.

• RPG, 플랫폼, 배틀로얄, 레이싱 등
• 2D와 3D를 가리지 않고 다양한 게임에서 작동
• 한 번도 본 적 없는 게임에서도
  • 약간의 추가 학습만으로
  • 처음부터 학습한 AI보다 최대 52% 높은 성공률 기록

기존 강화학습(RL) 기반 AI는
‘스타크래프트 2’, ‘도타 2’처럼 특정 게임에서는 뛰어나지만,
다른 환경으로의 확장이 어렵다는 한계가 있었습니다.

나이트로젠은 공개된 인터넷 영상만으로 학습해 이러한 한계를 크게 낮췄다는 점에서 의미가 큽니다.

---

오픈소스 공개와 활용 가능성

엔비디아 연구진은 나이트로젠의 데이터, 코드, 모델을 허깅페이스와 깃허브에 오픈소스로 공개했습니다.
이는 연구자와 개발자들이 자유롭게 실험하고 확장할 수 있는 기반을 마련했다는 점에서 중요합니다.

연구진은

“게임에서 배운 범용 행동 능력이 앞으로 로봇이나 현실 세계의 복잡한 환경에서도 활용될 수 있다”
라고 밝혔습니다.

또한 나이트로젠은 월드 모델과 결합해 LLM의 출력을 검증하는 에이전트로 발전할 가능성도 언급됐습니다. 이는 최근 공개된 구글의 범용 AI 에이전트 ‘시마 2(SIMA 2)’와도 흐름을 같이합니다.

---

728x90

나이트로젠이 던지는 시사점

나이트로젠은 단순히 “게임을 잘하는 AI”가 아닙니다.
게임이라는 가상 환경을 통해 범용 행동 데이터를 학습하고, 이를 현실 세계로 확장 가능한 체화 AI의 기반으로 삼았다는 점이 핵심입니다.

정리하면,

• 방대한 게임 데이터로 행동 학습의 한계를 돌파했고
• 특정 환경에 갇히지 않는 범용성을 보여줬으며
• 로봇 공학과 실제 환경 AI로의 확장 가능성을 증명했습니다.

앞으로 나이트로젠과 같은 기술이 발전한다면,
AI는 더 이상 ‘보고 이해하는 존재’가 아니라
‘보고 판단하고 행동하는 존재’로 한 단계 도약하게 될 것입니다.
이 변화가 로봇, 자율 시스템, 지능형 에이전트 분야에 어떤 영향을 미칠지 기대해볼 만합니다.

300x250

https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf