트랜스포머 제1 저자가 만든 8B 오픈 소스 모델 Rnj-1, 왜 주목해야 하는가

AI 모델이 쏟아지는 시대지만, 모든 모델이 중요한 것은 아니다. 특히 성능과 접근성, 구조적 혁신을 모두 갖춘 모델은 드물다. 이번에 공개된 Rnj-1 모델이 주목받는 이유는 바로 여기에 있다. 트랜스포머 논문의 제1 저자로 잘 알려진 아시시 바스와니 박사가 설립한 에센셜 AI가 처음으로 공개한 모델이자, 8B 파라미터 모델임에도 동급 최고 성능을 기록한 오픈 소스 모델이기 때문이다. 이 글에서는 Rnj-1의 기술적 특징, 성능, 설계 철학, 그리고 이 모델이 갖는 의미를 정리한다.

반응형

---

Rnj-1 모델은 무엇인가

에센셜 AI가 공개한 Rnj-1은 약 80억 개(8B)의 파라미터로 구성된 소형 언어모델이다. 허깅페이스를 통해 공개됐으며, 인도 수학자 스리니바사 라마누잔에서 따온 이름을 사용했다. 이 모델이 주목받는 이유는 단순히 저자의 유명세 때문이 아니라, 오픈 소스 8B 모델 가운데 최고 수준의 성능을 보여줬다는 점에 있다.

특히 모델 자체를 기존 아키텍처에서 가져온 것이 아니라, 오픈 소스 Gemma 3 구조를 기반으로 처음부터 다시 설계했다는 점이 큰 특징이다. 이를 통해 안정적인 학습 구조와 효율적인 아키텍처를 동시에 노렸다는 것이 회사의 설명이다.

---

Rnj-1의 주요 기술적 특징

1. 글로벌 셀프 어텐션(Global Self-Attention)

Rnj-1은 모든 토큰이 전체 문맥 내의 모든 토큰과 관계를 형성하는 글로벌 셀프 어텐션 구조를 적용했다. 이는 기존 일부 모델의 제한적 어텐션 방식보다 더 넓은 컨텍스트 이해 능력을 제공한다.

2. 최대 32,000 토큰의 컨텍스트 창

모델은 YaRN을 적용해 최대 32k 토큰까지 컨텍스트를 확장했다. 이로 인해 긴 문서 처리, 대형 코드 분석 등에서 강점을 가진다.

3. STEM·코딩 작업에 최적화

모델명처럼 수학, 과학, 코딩 등 기술적 문제 해결 능력에 초점을 맞춰 개발됐다. 단순한 자연어 대화 모델이 아니라, 문제 해결형 추론 모델을 목표로 설계됐다.

---

Rnj-1이 기록한 벤치마크 성능 분석

에센셜 AI가 공개한 자료에 따르면, Rnj-1은 여러 벤치마크에서 동일 크기 모델뿐 아니라 더 큰 모델을 능가하는 성능을 보여줬다.

1. 알고리즘·코딩 작업 성능

• MBPP+
• HumanEval+
• BigCodeBench
• SWE-Bench Verified

위 벤치마크 모두에서 중국의 동급 오픈 소스 모델을 앞섰고, 심지어 gpt-oss-20B와 같은 20B 모델보다 높은 점수를 기록했다.

2. 알고리즘 문제 해결력: Enamel

알고리즘 문제에 대한 효율적 코드/해법을 요구하는 Enamel 벤치마크에서도 압도적 성능을 보였다고 밝혔다.

3. 수학 및 고급 추론 능력: AIME 2025

• Rnj-1: 43.3점
• GPT-oss-20B: 46.7점
• Qwen3 8B: 20.9점
• Gemma 3 12B: 18.8점

8B 모델임에도 대부분의 동급·상급 모델을 뛰어넘는 점수로 평가됐다.

4. 슈퍼 GPQA

285개 분야에 걸친 대학원 수준 문제 풀이 벤치마크(SuperGPQA)에서도 유사한 우위 성능이 확인됐다.

---

왜 에센셜 AI는 RL 대신 사전 훈련(Pre-training)에 집중했을까

2025년 AI 업계에서는 강화학습(RL) 기반 성능 향상이 트렌드였지만, 에센셜 AI는 이를 과감히 배제하고 사전 훈련에 집중했다. 그 이유는 다음과 같다.

1. 기본 모델의 성능이 충분히 높아야 실제 기업에서 미세조정(Fine-tuning) 시 더 큰 효과가 발생한다.
2. RL을 통한 모델 개선보다 기본 구조·학습 품질 개선이 더 근본적인 성능 향상으로 이어진다.
3. 연구자와 개발자가 원하는 방향으로 추가 튜닝하기 위한 '바닥부터 좋은 모델'을 만드는 것이 목표였다.

바스와니 박사는 이를 “기본으로 돌아가는 방식”이라고 표현했다.

---

에센셜 AI가 오픈 소스를 고수하는 이유

바스와니 창립자는 “소수의 기업이 AI 기술의 방향과 속도를 통제하는 상황은 위험하다”고 지적한다.
또한 교육, 의료 등 사회적으로 중요한 분야에서 폐쇄형 AI가 발전을 늦출 수 있다는 문제 의식도 강조했다.

에센셜 AI는 아래 철학을 기반으로 한다.

• 기술은 공평하게 분배되어야 한다
• 발전 속도는 특정 기업이 아니라 생태계 모두가 함께 만들어야 한다
• 고성능 오픈 소스 모델이 존재해야 산업 전반이 건강하게 발전한다

Rnj-1이 공개된 배경에는 이러한 오픈 소스 가치가 있다.

---

Rnj-1이 가져올 미래

Rnj-1은 단순히 새로운 AI 모델 중 하나가 아니라, 오픈 소스 생태계에 의미 있는 기준을 제시한 모델이다.

• 8B 모델도 충분히 대형 모델을 위협할 수 있다는 사례
• 글로벌 셀프 어텐션과 확장된 컨텍스트 창을 통한 구조적 개선 가능성
• STEM·코딩 특화 모델의 새로운 방향
• 미국 중심의 오픈 소스 경쟁력 회복 신호

특히 한국 개발자와 연구자에게는 고성능 모델을 실험하고 자체 목적에 맞게 튜닝할 수 있는 새로운 기반 모델이 생겼다는 점에서 의미가 크다.

---

728x90

Rnj-1은 트랜스포머를 만든 연구자의 첫 상업적 모델이라는 상징성뿐 아니라, 8B 모델임에도 매우 높은 성능을 보여줬다는 점에서 충분히 주목할 가치가 있다. 오픈 소스로 공개된 만큼 누구나 활용·응용 가능하며, STEM·코딩 영역에서 강점을 보여주기 때문에 실제 현업에서도 경쟁력 있는 선택지가 될 가능성이 높다. 앞으로 이 모델을 기반으로 어떤 생태계와 프로젝트가 등장할지 기대해 볼 만하다.

300x250

https://artificialanalysis.ai/models/motif-2-12-7b

Motif-2-12.7B - Intelligence, Performance & Price Analysis