Jeeves, 판단 전에 추론하는 Jev 방식의 의사결정 모델

AI가 어떤 질문에 답할 때 항상 긴 추론 과정을 거쳐야 할까요? 반대로 빠르게 선택지를 판단하는 모델은 복잡한 질문에서 정확도가 떨어질 수 있습니다. Jeeves는 이 두 가지 방식의 장점을 결합해, 판단하기 전에 필요한 만큼 추론한 뒤 선택지별 확률과 점수를 계산하도록 학습한 모델입니다.

Jeeves는 Qwen3.5-9B를 기반으로 하며, Jev 방식의 의사결정 구조에 판단 전 추론 과정을 더한 것이 특징입니다. 자체 평가에서는 JevBench 공개 231문항에서 93.5%의 정확도를 기록했으며, 추론을 얼마나 수행할지 조절해 정확도와 응답 속도 사이의 균형도 맞출 수 있습니다.

또한 Jev 호환 API를 통해 고객 문의의 담당 부서, 긴급 대응 필요 여부, 불만 정도와 같은 여러 판단을 한 번의 요청으로 처리할 수 있으며, 9B 모델 가중치와 학습 코드, 데이터까지 공개돼 직접 실행하고 재학습할 수 있도록 구성됐습니다.

반응형

빠르게 판단하는 Jev 방식에 추론을 더한 Jeeves

Jev 방식의 모델은 질문에 대해 선택지별 확률을 빠르게 반환하는 데 초점을 둡니다. 여러 선택지 가운데 어떤 것이 적절한지 판단하고 각 선택지가 선택될 가능성을 확인할 수 있다는 점이 특징입니다.

하지만 질문이 복잡해지면 빠른 판단만으로는 정확도가 충분하지 않을 수 있습니다. 이런 경우 별도의 추론 모델에 작업을 넘기는 방식이 필요할 수 있습니다.

Jeeves는 이 문제에 다른 접근을 사용합니다.

판단 모델 자체가 최종 선택을 하기 전에 추론하도록 학습하는 것입니다.

Jeeves는 Qwen3.5-9B를 기반으로 하며, Kev에서 영감을 얻고 Jev 방식의 아키텍처를 따릅니다. 먼저 주어진 상황과 질문을 바탕으로 추론한 다음 선택지별 점수를 계산하고, 이를 보정해 확률로 반환합니다.

즉, 단순히 바로 답을 고르는 것이 아니라 다음과 같은 흐름으로 판단합니다.

상황 및 질문 입력 → 추론 → 선택지별 평가 → 점수 보정 → 선택지별 확률 반환

이 구조를 통해 복잡한 판단에서는 추론을 활용하면서도 최종 결과는 선택지별 확률이라는 형태로 제공할 수 있습니다.

고객 문의의 담당 부서와 긴급도를 한 번에 판단

Jeeves는 **Jev 호환 API인 /v1/systemone**을 제공합니다.

상황 설명과 여러 질문을 하나의 요청에 전달할 수 있으며, 질문의 종류에 따라 선택지나 확률, 점수를 반환할 수 있습니다.

주요 판단 방식은 세 가지입니다.

• choice: 여러 선택지 중 하나를 선택하고 선택지별 확률을 반환
• noul: 긴급 대응이 필요한지와 같은 예·아니요 질문에 대해 참일 확률을 반환
• score: 고객 불만 정도처럼 순서가 있는 기준에 점수를 부여

예를 들어 다음과 같은 고객 문의를 생각할 수 있습니다.

신발이 2주 늦게 도착했고 사이즈도 잘못됐으며, 카드 결제가 두 번 됐다.

이 하나의 문의를 대상으로 Jeeves는 담당 부서, 긴급 대응 필요성, 고객의 불만 정도를 함께 평가할 수 있습니다.

따라서 단일 질문에 대한 답변을 생성하는 용도보다는 주어진 상황을 기준으로 여러 의사결정 항목을 평가해야 하는 작업에 맞춰진 구조라고 볼 수 있습니다.

Python SDK인 jeeves_sdk도 제공됩니다. 기본적으로 API 키 없이 로컬 서버에 연결할 수 있으며, 답과 확률뿐 아니라 질문별 추론 텍스트도 선택적으로 받을 수 있습니다.

추론을 추가했을 때 정확도는 얼마나 높아졌을까

Jeeves의 가장 눈에 띄는 부분은 자체 평가 결과입니다.

공개된 JevBench 231문항을 기준으로 Jeeves는 **93.5%**의 정확도를 기록했습니다. 같은 평가에서 Jev는 86.6%, Kev-8B는 71.5%를 기록했습니다.

특히 어려운 공개 문항 111개에서는 차이가 더 크게 나타났습니다.

모델	전체 231문항	어려운 111문항
Jeeves	93.5%	86.5%
Jev	86.6%	73.0%
Kev-8B	71.5%	45.1%

이 비교는 동일한 공개 문항을 대상으로 한 결과이며, 비공개 평가 단계는 포함하지 않습니다. 또한 Kev-9B의 JevBench 결과가 없기 때문에 해당 비교에서는 Kev-8B가 사용됐습니다.

추론 자체가 정확도에 미치는 영향도 별도로 평가됐습니다.

2,962개 문항을 대상으로 같은 모델의 추론 사용 여부를 비교한 결과, 정확도는 80.4%에서 84.0%로 향상됐습니다.

다만 Jeeves가 모든 종류의 작업에서 더 높은 점수를 기록한 것은 아닙니다.

학습 도메인 밖 문항과 별도 보류 문항을 합친 종합 평가에서는 Jeeves가 88.9%, Kev-9B가 82.2%, Jev가 85.7%를 기록했습니다.

반면 지식 질문에서는 Jev가 더 높은 점수를 기록했습니다. MMLU에서는 Jeeves 79.3%, Jev 90.0%였으며, MMLU-Pro에서는 Jeeves 73.9%, Jev 84.0%였습니다.

따라서 Jeeves의 특징을 단순히 "모든 작업에서 더 정확한 모델"이라고 표현하기보다는 판단 전에 추론하는 방식이 특정 의사결정 작업에서 정확도를 높이는 접근으로 이해하는 것이 적절합니다.

정확도와 응답 속도를 직접 조절할 수 있다

추론을 사용하면 정확도를 높일 수 있지만, 그만큼 응답 시간이 길어질 수 있습니다.

Jeeves는 이 문제를 고려해 추론의 정도를 조절할 수 있도록 구성됐습니다.

H100 한 대에서 개발 질문 325개를 평가한 결과는 다음과 같습니다.

설정	정확도	평균 추론 토큰	지연 중앙값 / p90
추론 미사용	77.5%	0	약 0.3초 / 미제시
최대 768토큰, 신뢰도 0.9 이상이면 추론 생략	80.6%	344	2.0초 / 5.6초
전체 추론, 최대 2,560토큰	82.5%	1,138	3.3초 / 17.1초

이 결과에서 볼 수 있듯 추론을 늘리면 정확도는 높아지는 대신 응답 시간도 길어집니다.

Jeeves는 이를 세부 설정으로 조절할 수 있습니다.

max_think를 사용하면 질문별 최대 추론 길이를 제한할 수 있습니다. 또한 nothink_threshold를 이용하면 추론 없이 계산한 신뢰도가 특정 수준 이상일 경우 추가 추론을 생략하도록 설정할 수 있습니다.

추론을 완전히 끄려면 think=false를 사용할 수 있으며, return_reasoning=true를 지정하면 추론 텍스트를 응답에 포함할 수 있습니다.

따라서 빠른 응답이 중요한 작업이라면 무조건 긴 추론을 사용하는 것이 아니라 질문의 난이도와 필요한 정확도에 따라 추론 길이와 생략 기준을 함께 조절하는 방식을 사용할 수 있습니다.

Jeeves는 어떻게 선택지를 판단할까

Jeeves의 모델 구조에는 LoRA와 포인터 헤드가 사용됩니다.

LoRA는 기반 모델을 미세조정하는 데 사용되며, 포인터 헤드는 주어진 선택지 각각에 점수를 부여하는 역할을 합니다.

판단 과정은 다음과 같이 구성됩니다.

1. 상황, 질문, 선택지를 입력합니다.
2. 모델이 상황을 바탕으로 추론을 생성합니다.
3. 추론이 끝난 뒤 질문과 선택지를 다시 제시합니다.
4. 포인터 헤드가 각 선택지를 직접 평가합니다.
5. 점수를 보정한 뒤 확률로 변환합니다.

일반적인 문장 생성 모델처럼 최종 답변을 생성한 다음 그 문장을 해석하는 방식이 아니라, 추론 이후 선택지를 직접 평가하는 구조를 사용하는 것이 핵심입니다.

확률은 개발 데이터에 맞춘 온도 스케일링을 통해 보정됩니다.

SFT와 강화학습으로 판단 전 추론을 학습

Jeeves의 학습 과정은 크게 세 단계로 구성됩니다.

지도 미세조정(SFT) → CISPO 강화학습 → 확률 보정

먼저 공개 데이터셋 12개와 합성 정책 데이터에서 확보한 19,126개 질문을 사용해 미세조정했습니다.

이 가운데 절반에는 기반 모델이 생성한 추론 과정도 포함됐습니다.

그다음 9,992개 질문을 사용해 강화학습을 진행하면서 판단하기 전에 추론하는 능력을 개선했습니다.

마지막으로 확률 보정 과정을 거쳐 선택지별 점수가 실제 확률로 활용될 수 있도록 구성했습니다.

다만 추론 텍스트를 응답으로 반환할 수는 있지만, 언어적 일관성을 위한 보상은 적용하지 않았습니다. 따라서 반환되는 추론 내용을 사람이 읽기 좋은 설명으로 활용하는 데에는 한계가 있습니다.

확산 기반 초안 모델로 추론 생성 속도 개선

추론을 사용하는 모델에서는 추론 자체를 생성하는 시간이 중요한 문제가 됩니다.

Jeeves는 이를 개선하기 위해 확산 기반 초안 모델(diffusion drafter)과 추측 디코딩을 사용합니다.

이 방식은 Orthrus에서 영감을 얻었으며, Qwen3.5의 Gated DeltaNet 계층도 지원하도록 확장됐습니다.

공개 측정에서 질문 하나의 추론 생성 속도는 다음과 같이 나타났습니다.

• 일반 디코딩: 초당 109토큰
• 4토큰 블록: 초당 176토큰
• 8토큰 블록: 초당 193토큰

일반 디코딩과 비교하면 각각 약 1.6배, 1.76배의 속도 향상입니다.

여러 질문을 동시에 처리하는 경우 4토큰 블록으로 질문 8개를 배치 처리하면 전체 처리량은 약 초당 960토큰입니다.

여러 질문을 함께 처리할 때의 비용까지 고려해 Jeeves에서는 4토큰 블록을 기본값으로 사용합니다.

9B 모델과 학습 과정까지 공개

Jeeves는 모델 자체만 공개하는 데 그치지 않습니다.

다음 구성 요소가 공개돼 있습니다.

• 9B 모델 가중치
• 추론 가속용 초안 모델
• 전체 학습 코드
• 학습 데이터
• 개발 데이터
• 테스트 데이터

또한 데이터 준비부터 미세조정, 강화학습, 평가, 모델 내보내기, 초안 모델 학습까지 전체 파이프라인을 GPU 8개에서 재현할 수 있도록 구성됐습니다.

실행 환경에는 Python 3.12와 CUDA GPU가 필요하며, FP8 커널을 사용하려면 Hopper GPU가 필요합니다.

저장소의 라이선스는 MIT이며, 함께 사용된 공개 데이터셋은 각각의 원래 라이선스를 따릅니다.

Jeeves가 보여주는 판단형 AI의 방향

Jeeves의 핵심은 단순히 모델의 크기를 키우는 데 있지 않습니다.

빠르게 선택지를 판단하는 방식에 판단 전 추론 과정을 결합하고, 필요할 때만 추론을 수행하도록 조절하는 것이 핵심입니다.

예를 들어 높은 확신을 가진 질문까지 긴 추론을 수행할 필요는 없습니다. 반대로 판단하기 어려운 질문에는 더 많은 추론 시간을 사용할 수 있습니다.

이러한 구조에서는 정확도와 응답 속도를 하나의 고정된 값으로 보는 대신, 질문의 난이도와 서비스 요구사항에 따라 조절할 수 있는 요소로 다룰 수 있습니다.

Jeeves의 평가 결과에서도 이러한 특성이 확인됩니다. 추론을 사용하지 않을 때는 약 0.3초의 짧은 지연으로 처리할 수 있지만, 최대 2,560토큰의 전체 추론을 사용하면 정확도가 82.5%로 높아지는 대신 지연 중앙값이 3.3초, p90이 17.1초까지 증가합니다.

따라서 실제 활용에서는 모든 요청에 가장 긴 추론을 적용하기보다 필요한 수준에서 추론을 사용하는 접근이 중요합니다.

728x90

Jeeves는 Jev 방식의 빠른 선택지 판단에 추론 과정을 결합한 Qwen3.5-9B 기반 의사결정 모델입니다.

고객 문의처럼 하나의 상황에서 담당 부서, 긴급 대응 여부, 불만 정도처럼 여러 판단을 내려야 하는 작업을 Jev 호환 API로 처리할 수 있으며, 선택지별 확률과 점수도 받을 수 있습니다.

성능 측면에서는 공개 JevBench 231문항에서 93.5%의 정확도를 기록했고, 추론 사용 여부에 따라 정확도와 응답 시간을 조절할 수 있습니다. 여기에 확산 기반 초안 모델을 적용해 추론 생성 속도를 높였으며, 모델 가중치뿐 아니라 학습 코드와 데이터까지 공개해 전체 학습 과정을 재현할 수 있도록 했습니다.

다만 모든 작업에서 Jeeves가 더 높은 성능을 보이는 것은 아닙니다. 특히 MMLU와 MMLU-Pro 같은 지식 질문에서는 Jev가 더 높은 점수를 기록했습니다.

결국 Jeeves에서 주목할 부분은 특정 벤치마크의 숫자 하나보다 빠른 판단과 필요한 만큼의 추론을 하나의 모델 안에서 조절하는 구조입니다. 정확도가 중요한 복잡한 판단에서는 더 많은 추론을 사용하고, 빠른 응답이 필요한 상황에서는 추론을 줄이거나 생략할 수 있다는 점이 Jeeves의 핵심적인 특징입니다.

300x250

https://github.com/PostHog/jeeves

GitHub - PostHog/jeeves: Jeeves – Reasoning improves Jev-like decision models