LLM 코딩 에이전트의 토큰 비용을 줄이는 방법, SWE-Pruner의 핵심 원리와 성능 분석

대규모 언어 모델(LLM)을 활용한 코딩 에이전트가 점점 실무에 활용되면서, 한 가지 문제가 분명해졌습니다. 코드를 ‘이해’하기도 전에 토큰 예산과 비용이 먼저 소모된다는 점입니다. 특히 대규모 코드베이스를 탐색하는 과정에서 긴 컨텍스트가 누적되며 API 비용과 지연 시간이 급격히 증가합니다.

이번 글에서는 ByteDance가 공개한 SWE-Pruner라는 프레임워크를 중심으로,

• 왜 LLM 에이전트가 토큰을 과도하게 사용하게 되는지
• 기존 컨텍스트 압축 방식의 한계는 무엇인지
• SWE-Pruner가 이를 어떻게 해결하는지
• 실제 벤치마크에서 어떤 성능 개선을 보였는지

를 기술적으로 정리해봅니다. LLM 기반 소프트웨어 개발 자동화에 관심 있는 분들이라면, 현재 컨텍스트 관리가 어디까지 발전했는지 한눈에 이해할 수 있을 것입니다.

반응형

---

LLM 코딩 에이전트가 겪는 긴 컨텍스트 문제

LLM 에이전트는 소프트웨어 개발 작업에서 다음과 같은 단계를 반복합니다.

• 파일 탐색
• 코드 읽기
• 관련 로직 추적
• 수정 및 검증

문제는 이 중 ‘코드 읽기(read)’ 단계가 토큰 사용량의 대부분을 차지한다는 점입니다. 연구에 따르면 Mini SWE Agent 기준으로,

• Claude Sonnet 4.5: 전체 토큰의 76.1%
• GLM-4.6: 전체 토큰의 67.5%

가 단순 파일 읽기에 사용되었습니다.
즉, 에이전트가 실제로 추론하거나 코드를 수정하기 전에 토큰 예산이 소모되고 비용과 지연이 발생하는 구조입니다.

이 문제를 해결하기 위해 다양한 컨텍스트 압축 기법이 등장했지만, 대부분 다음과 같은 한계를 가집니다.

• Perplexity(PPL) 같은 고정 지표에 의존
• 토큰 단위 삭제로 코드 문법과 논리 구조 손상
• 중요한 구현 세부사항 손실

SWE-Pruner는 바로 이 지점을 정면으로 해결하려는 접근입니다.

---

SWE-Pruner란 무엇인가

SWE-Pruner는 LLM 에이전트의 소프트웨어 개발 작업에서 발생하는 긴 상호작용 컨텍스트를 줄이기 위한 Self-Adaptive Context Pruning 프레임워크입니다.

핵심 아이디어는 단순합니다.

“에이전트가 지금 무엇을 알고 싶어 하는지를 먼저 명확히 하고,
그 의도에 맞는 코드 줄만 구조를 유지한 채로 남기자.”

이를 위해 SWE-Pruner는 에이전트와 코드 사이에서 미들웨어 역할을 수행하며, 사람이 수동으로 하던 컨텍스트 엔지니어링을 자동화합니다.

---

핵심 개념 1: Goal Hint 기반 태스크 인지형 가지치기

SWE-Pruner의 출발점은 Goal Hint입니다.

Goal Hint란?

에이전트가 현재 필요한 정보를 자연어로 표현한 힌트입니다. 예를 들어,

• “Focus on MRO resolution logic”
• “Check authentication flow in middleware”

과 같이 키워드 나열이 아닌, 의미가 완결된 질문 형태를 사용합니다.

이 Goal Hint는 기존의 파일 조작 도구(cat, grep 등)에
context_focus_question이라는 선택 파라미터로 전달됩니다.

이 방식의 중요한 차별점은 다음과 같습니다.

• 키워드 필터링이 아닌 의미 기반 의도 포착
• 에이전트의 추론 흐름에 따라 동적으로 변화
• 광범위한 탐색과 집중 분석을 자연스럽게 전환 가능

---

핵심 개념 2: Lightweight Neural Skimmer 구조

Goal Hint를 실제 코드 줄 선택으로 연결하는 핵심 컴포넌트가 Lightweight Neural Skimmer입니다.

Line-Level Pruning 접근

SWE-Pruner는 컨텍스트 압축을 토큰 단위가 아닌 줄(Line) 단위 문제로 재정의합니다.

• 입력: 전체 코드 컨텍스트와 Goal Hint
• 출력: 유지할 코드 라인과 제거할 라인

각 토큰의 관련도를 계산한 뒤, 이를 라인 단위 점수로 집계합니다.

모델 구조 요약

• Backbone: Qwen3-Reranker-0.6B
• 다중 레이어 특징 결합 (7, 14, 28 레이어 Hidden State)
• 파라미터 수가 적어 추론 오버헤드가 매우 낮음

---

CRF 기반 Pruning Head로 문법 구조 보존

기존 토큰 단위 가지치기가 코드 구조를 망가뜨리는 이유는 앞뒤 문맥을 고려하지 않기 때문입니다.

SWE-Pruner는 이를 해결하기 위해 **CRF(Conditional Random Field)**를 사용합니다.

• 라인 유지를 구조화된 시퀀스 라벨링 문제로 처리
• Emission과 Transition을 함께 학습
• 함수, 조건문, 블록 경계를 존중하는 패턴 학습

그 결과, 코드의 Syntactic Integrity를 높은 수준으로 유지할 수 있습니다.

실험 결과, AST Correctness는 87.3%로,
토큰 단위 Pruning 기법(0.29%~12.4%)을 크게 상회했습니다.

---

학습 데이터 구성 방식

SWE-Pruner는 대규모 Polyglot 코드 데이터를 사용해 학습되었습니다.

• 데이터 출처: GitHub Code 2025
• Teacher 모델: Qwen3-Coder-30B-A3B-Instruct
• 태스크 유형: 9가지 Agentic Task
• 라인 단위 Binary Mask 생성
• LLM-as-a-Judge(Qwen3-Next-80B)로 품질 필터링

최종적으로 61,184개의 고품질 학습 샘플이 구축되었습니다.

---

에이전트 워크플로우와의 통합 방식

SWE-Pruner는 단일 사용 사례가 아닌, 실제 에이전트 환경에 통합됩니다.

• Multi-turn Task: 추론 과정에 따라 Goal Hint를 계속 갱신
• Single-turn Task: Task Description 자체가 초기 Goal Hint 역할

이를 통해 에이전트는
“전체 구조 파악 → 특정 로직 집중”
이라는 사고 흐름을 자연스럽게 유지할 수 있습니다.

---

벤치마크 성능 요약

Multi-turn Task 성능

• SWE-Bench Verified 기준
• 토큰 소비 23~38% 감소
• 에이전트 라운드 수 18~26% 감소
• 성공률은 거의 유지

특히 SWE-Bench 전체 비교에서
**가장 적은 토큰을 사용하면서 가장 높은 성공률(64%)**을 기록했습니다.

Single-turn Task 성능

• Long Code QA: 최대 14.84배 압축
• Long Code Completion: 10배 이상의 효과적 압축
• 정확도 및 편집 유사도 유지

---

비용과 지연 시간 측면의 효과

SWE-Pruner는 0.6B 크기의 경량 모델을 사용해,

• 8K 토큰 기준 First Token Latency 100ms 미만
• Pruning 오버헤드를 디코딩 비용 절감으로 상쇄

즉, 압축을 위한 비용보다 절감되는 비용이 더 큰 구조를 갖습니다.

---

728x90

SWE-Pruner는 단순한 컨텍스트 압축 기법이 아닙니다.
이 연구의 핵심 가치는 다음에 있습니다.

• 사람이 하던 컨텍스트 엔지니어링을 AI가 실시간으로 수행
• 의미 기반, 구조 보존형 코드 선택
• 비용, 지연, 성능을 동시에 개선

물론 Python 중심 구현, 데이터 누수 가능성, 경미한 지연 오버헤드 같은 한계도 존재합니다. 하지만 LLM 에이전트가 복잡한 소프트웨어 개발 작업을 수행하는 현실적인 환경을 고려할 때, SWE-Pruner는 컨텍스트 관리의 방향성을 명확히 제시한 연구라고 볼 수 있습니다.

앞으로 LLM 기반 코딩 에이전트의 확산과 함께, 이런 태스크 인지형 컨텍스트 관리 기술은 선택이 아닌 필수가 될 가능성이 높아 보입니다.

300x250

https://arxiv.org/abs/2601.16746

SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents