토큰 낭비는 이제 그만, LLM을 위한 차세대 데이터 포맷 ‘TOON’ 완전 정리

LLM 시대의 새로운 고민, ‘토큰 효율성’

대규모 언어 모델(LLM)을 다뤄본 개발자라면 누구나 한 번쯤 이런 생각을 해봤을 것이다.
“왜 이렇게 입력 데이터가 많은 토큰을 차지하지?”
JSON이나 YAML로 데이터를 정리해 넣었을 뿐인데, 토큰 단위 과금이 쌓여가며 비용이 빠르게 증가한다.

AI 기술이 발전하면서 입력 가능한 문맥의 길이(Context Window)는 길어졌지만, 그만큼 토큰 단위 비용은 여전히 비싸다.
이 문제를 해결하기 위해 등장한 것이 바로 Token-Oriented Object Notation, 줄여서 TOON이다.

이 글에서는 TOON이 무엇인지, 왜 필요한지, 그리고 실제로 얼마나 효율적인지를 구체적으로 살펴본다.

반응형

---

TOON이란 무엇인가?

**TOON(Token-Oriented Object Notation)**은 LLM 입력에 최적화된 경량 구조화 데이터 포맷이다.
기존 JSON이나 YAML보다 훨씬 간결하고, 사람이 읽기 쉬우며, 토큰 사용량이 적다는 점이 핵심이다.

TOON은 다음 세 가지 포맷의 장점을 결합해 설계되었다.

• YAML의 들여쓰기 기반 구조
• CSV의 행 단위 데이터 표현
• JSON의 키-값 쌍 구조

그 결과, TOON은 **복잡한 객체 데이터(Uniform Complex Objects)**를 매우 짧은 텍스트로 표현할 수 있다.

예를 들어 다음 JSON 데이터를 보자.

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

이를 TOON으로 변환하면 이렇게 된다.

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

이 간단한 차이만으로도 토큰 사용량은 약 40~60% 절감된다.

---

TOON의 주요 특징

1. 토큰 효율성(Token Efficiency)

TOON은 불필요한 괄호, 인용부호, 중복 키 선언 등을 제거해 토큰 단위를 크게 줄인다.
실제 벤치마크 결과에 따르면, JSON 대비 약 30~60%의 토큰을 절약할 수 있다.
이는 곧 LLM 입력 비용 절감으로 직결된다.

2. 명시적 구조와 검증 가능성

TOON은 필드 목록과 데이터 길이를 명시적으로 선언한다.
예를 들어 users[2]{id,name,role}와 같은 선언은 모델이
“이 데이터에는 2개의 항목이 있고, 각 항목은 세 개의 필드로 구성되어 있다”는 정보를 즉시 인식할 수 있게 한다.
이 구조적 명확성은 LLM 출력 검증 및 오류 방지에도 도움이 된다.

3. 불필요한 문법 제거

JSON처럼 중첩된 괄호나 콜론, 따옴표가 반복되지 않는다.
대신 들여쓰기와 콤마 구분자로만 구조를 표현한다.
결과적으로 코드가 짧고, 읽기 쉬우며, 수정도 간편하다.

4. 탭 형식 배열(Tabular Arrays) 지원

한 번 선언한 필드 키를 반복하지 않고 여러 데이터를 연속적으로 나열할 수 있다.
이 점은 **데이터 행이 많은 경우(예: 사용자 목록, 로그, 상품 데이터 등)**에 특히 유용하다.

---

JSON vs TOON: 실제 효율 비교

TOON이 실제로 얼마나 효율적인지를 보여주는 벤치마크 결과를 살펴보자.

데이터 유형	TOON 토큰 수	SON 토큰 수	절감률
GitHub Repositories	8,745	15,145	42.3%
Daily Analytics	4,507	10,977	58.9%
E-Commerce Order	166	257	35.4%
Total 평균 절감률	-	-	49.1%

이 수치는 단순히 이론적인 계산이 아니라, 실제 데이터 세트를 JSON과 TOON으로 변환해 측정한 결과다.
즉, TOON은 평균 절반 가까운 토큰을 줄이면서 동일한 정보를 전달할 수 있다.

---

TOON의 활용 가치와 가능성

1. LLM 입력 최적화

TOON은 대규모 입력 데이터를 LLM에 전달할 때 가장 경제적인 포맷이다.
예를 들어, 수천 개의 사용자 정보나 로그 데이터를 넣을 때 JSON보다 훨씬 더 짧은 토큰으로 동일한 의미를 전달할 수 있다.

2. 비용 절감 효과

OpenAI나 Anthropic 등의 모델은 입력 토큰 수에 따라 과금된다.
따라서 입력 포맷을 TOON으로 바꾸는 것만으로도 AI 서비스 운영비를 30~60% 절감할 수 있다.

3. 가독성과 유지보수성

TOON은 사람이 읽기 쉬운 들여쓰기 기반 문법을 사용한다.
데이터 구조가 명확해 개발자나 분석가가 데이터를 직접 확인하거나 수정하기에도 적합하다.

4. 모델 친화적 구조

TOON의 명시적 필드 구조와 간결한 구문은 LLM이 데이터를 해석할 때 혼동을 줄이고 안정성을 높이는 효과가 있다.
이는 모델이 예측이나 출력 형식을 유지해야 하는 상황에서 특히 유용하다.

---

728x90

효율성과 명확성을 모두 잡은 차세대 데이터 포맷

JSON은 오랫동안 데이터 교환의 표준이었지만, LLM 시대에는 그 한계가 명확해지고 있다.
불필요한 토큰 낭비, 중복된 구조, 높은 비용 문제는 이제 더 이상 무시할 수 없다.

**TOON(Token-Oriented Object Notation)**은 이 문제를 정면으로 해결한다.
짧고 명확하며, 사람이 읽기 쉽고, LLM이 이해하기 좋은 구조로 설계되어 있다.

앞으로 LLM을 활용한 데이터 처리나 애플리케이션 개발 환경에서는
“입력 데이터 포맷을 얼마나 효율적으로 다루는가”가 성능과 비용의 핵심 지표가 될 것이다.
TOON은 그 변화를 이끌어갈 실질적 대안으로 충분한 가능성을 보여주고 있다.

https://github.com/johannschopplich/toon

GitHub - johannschopplich/toon: 🎒 Token-Oriented Object Notation – JSON for LLMs at half the token cost