LLM 실제 활용 트렌드를 드러낸 OpenRouter 100조 토큰 분석 보고서

OpenRouter가 100조 토큰 규모의 실제 사용 데이터를 분석한 결과는, 지금까지 벤치마크 중심으로만 이해되던 LLM 생태계를 완전히 다른 시각에서 바라보게 합니다. 이 보고서는 모델이 ‘실험실에서 얼마나 잘하느냐’가 아니라, ‘현장에서 어떤 모델이 얼마나 오래, 어떤 방식으로 쓰이고 있는가’를 실증적으로 보여줍니다. 그리고 이 데이터는 현재 LLM 시장이 어디로 가고 있는지, 앞으로 어떤 기준으로 모델을 선택해야 하는지를 명확하게 정리해 줍니다.

아래에서는 보고서의 핵심 내용을 구조적으로 분석해, LLM 생태계의 현재와 미래를 한눈에 이해할 수 있도록 정리합니다.

반응형

---

OpenRouter 100조 토큰 분석의 의미

LLM 시장은 매달 새로운 모델이 등장하며 화려한 데모와 벤치마크 점수 경쟁이 이어지고 있습니다. 그러나 실제 현장에서는 벤치마크 성능이 곧 실사용 효율로 이어지지 않습니다. OpenRouter는 대규모 플랫폼 트래픽을 기반으로 모델 사용 패턴을 장기간 관찰했고, 이를 통해 실무자가 체감하는 ‘진짜 성능’을 드러냈습니다.

핵심은 단순한 사용량 통계가 아니라, 어떤 모델이 어떤 상황에서 선택되고, 그 사용자가 얼마나 오래 남는지까지 분석했다는 점입니다. 이는 LLM의 기술적 가치와 비즈니스 경쟁력을 동시에 살펴볼 수 있는 드문 자료입니다.

---

멀티 모델 생태계는 이미 표준이 됐다

보고서에 따르면 LLM 생태계는 단일 모델 중심이 아닌 멀티 모델 구조로 빠르게 고도화되고 있습니다.

독점 모델과 오픈소스 모델의 공존

상용 모델의 비중이 여전히 크지만, DeepSeek나 Qwen 같은 오픈소스 모델이 꾸준히 성장하며 전체 사용량의 약 3분의 1을 차지할 만큼 영향력이 커졌습니다.
이제 기업들은 하나의 모델에 의존하지 않고, 목적에 따라 다양한 모델을 조합하는 전략을 채택하고 있습니다.

15B~70B 중형 모델의 부상

초거대 모델만 주목받던 초기와 달리, 비용과 성능을 균형 있게 제공하는 중형 모델이 ‘새로운 표준 규격’으로 자리 잡고 있습니다.
팀 단위 개발 환경에서는 이들 모델이 실질적인 선택지로 떠오르고 있으며, 오픈소스 진영에서도 가장 경쟁이 치열한 구간입니다.

---

사람들은 LLM으로 무엇을 하고 있을까

데이터 분석 결과, LLM의 사용 목적은 크게 두 축으로 나뉩니다.

역할놀이(Roleplay)

오픈소스 모델의 전체 토큰 중 절반 이상이 롤플레이에 소비되고 있습니다. 캐릭터 설정, 스토리텔링, 몰입형 대화 등 엔터테인먼트 중심 사용이 큰 비중을 차지합니다.

프로그래밍

전체 트래픽 기준으로 보면 프로그래밍 비중이 10%대에서 50% 이상으로 폭증했습니다.
코드 리뷰, 디버깅, 리팩터링, 복잡한 시스템 설계까지 실제 개발 업무의 중심 도구로 자리 잡고 있음을 의미합니다.

결국 LLM은 ‘엔터테인먼트 엔진’이면서 동시에 ‘생산성 도구’라는, 두 가지 상반된 영역을 모두 충족시키는 플랫폼으로 진화하고 있습니다.

---

에이전트형 추론의 시대: 사용 방식의 근본적 변화

평균 프롬프트 길이가 1.5K에서 6K 이상으로 4배 가까이 증가했고, 응답 길이도 약 3배 길어졌습니다.
특히 프로그래밍 분야에서는 수만 토큰의 긴 문맥을 기반으로 작업하는 것이 일상화되었습니다.

이는 단순한 질의응답이 아니라 다음 단계로 넘어가고 있음을 의미합니다.

• 긴 문맥 유지
• 도구 제어
• 상태 기반 문제 해결
• 다단계 추론

즉, 사용자는 LLM을 질문에 답하는 도구가 아니라, 복잡한 흐름을 관리하며 작업을 해결하는 ‘에이전트’로 사용하기 시작했습니다.
이는 앞으로 모델 선택 기준이 단순 성능이 아닌 ‘긴 문맥에서 얼마나 안정적으로 작업을 수행하는가’로 옮겨갈 것임을 시사합니다.

---

Cinderella Glass Slipper 효과: 리텐션이 말하는 진짜 경쟁력

보고서에서 가장 독창적인 개념은 ‘신데렐라 유리구두 효과’입니다.

대부분의 모델은 초기 유입된 사용자가 빠르게 이탈합니다. 하지만 일부 모델에서는 초기에 들어온 사용자가 오랫동안 남아 있는 독특한 패턴이 발견됩니다. 이들은 보고서에서 ‘기반 코호트(Foundational Cohorts)’라고 불립니다.

왜 이들이 중요한가

이 사용자들은 특정 모델을 사용해 기존에는 해결 불가능했던 문제를 해결했고,
그 과정에서 시스템 로직과 인프라가 모델 중심으로 최적화되기 시작합니다.
결과적으로 이들은 쉽게 다른 모델로 이동하지 않습니다.

대표적인 사례가 Claude 3.5 Sonnet입니다.
출시 후 4~5개월이 지나도 초기 사용자 중 약 40%가 계속 잔존했습니다. 이는 LLM 시장에서 매우 이례적입니다.

반면 특장점 없이 무난한 모델들은 사용자를 붙잡아둘 매력 포인트를 제공하지 못하며, 리텐션도 빠르게 떨어지는 것으로 나타났습니다.

---

DeepSeek 부메랑 효과: 떠났다가 다시 돌아오는 사용자들

DeepSeek 계열 모델에서는 독특하게도 초기에는 사용자가 이탈하는 것처럼 보이지만, 몇 달 뒤에는 다시 복귀해 리텐션 곡선이 상승하는 현상이 확인됩니다.
이는 다양한 모델을 경험해본 후, 가격 대비 성능이라는 현실적 기준에서 DeepSeek가 가장 합리적이라는 결론에 도달했기 때문으로 분석됩니다.

이 패턴은 한 번 ‘맞는 유리구두’를 신어본 사용자는 결국 돌아온다는 점을 보여줍니다.
오픈소스 모델이 시장에서 장기적으로 어떤 힘을 갖게 될지 예측하는 데 중요한 단서가 됩니다.

---

LLM의 성공 기준은 PMF가 아니라 Workload-Model Fit

이 보고서의 결론은 명확합니다.

LLM이 성공하려면 기능을 많이 넣는다고 해결되지 않습니다.
핵심은 특정 고가치 업무를 세계에서 가장 잘 해결하는 모델이 되는 것입니다.
이를 보고서는 ‘워크로드-모델 적합성(Workload-Model Fit)’이라고 정의합니다.

결국 중요한 것은 다음 두 가지입니다.

• 특정 업무에서 압도적 성능을 보이는가
• 초기 핵심 사용자가 얼마나 오래 남는가

성장률보다 리텐션이 더 중요한 지표이며, 이는 모델의 기술적 해자와 장기 비즈니스 경쟁력을 결정짓는 기준이 됩니다.

---

728x90

OpenRouter의 100조 토큰 분석은 다음과 같은 메시지를 전달합니다.

• LLM 생태계는 이미 멀티 모델 환경이며, 중형 모델이 새로운 표준으로 떠오르고 있다.
• 사람들은 LLM을 생산성과 엔터테인먼트라는 상반된 목적 모두에 활용하고 있다.
• 긴 문맥 기반의 에이전트형 사용 패턴이 늘어나며, 모델 선택 기준이 변화하고 있다.
• 리텐션과 핵심 코호트의 잔존률이 모델 품질을 증명하는 새로운 척도가 되고 있다.
• PMF가 아니라 Workload-Model Fit이 LLM 시대의 진짜 성공 요건이다.

향후 기업과 개발자는 어떤 모델이 ‘우리의 핵심 업무’와 가장 잘 맞는지를 우선적으로 고민해야 합니다.
초기 사용자 코호트를 얼마나 오래 유지할 수 있는지가 모델의 가치를 결정하며, 이것이 LLM 시장의 다음 경쟁 구도가 될 것입니다.

전체 분석은 LLM이 더 이상 단순한 기술이 아닌, 사용자의 업무와 경험 속에서 지속적으로 진화하는 생태계라는 것을 분명하게 보여줍니다.

300x250

https://openrouter.ai/state-of-ai

OpenRouter