vLLM PagedAttention: LLM 추론 처리량을 혁신하는 기술

대규모 언어 모델(LLM)의 활용은 빠르게 확산되고 있습니다. 하지만 모델을 실제 서비스에 적용할 때 가장 큰 난관 중 하나는 추론 성능과 효율성입니다. 기존 시스템은 KV 캐시(Key-Value Cache) 관리의 비효율로 인해 GPU 메모리 활용률이 떨어지고 처리량이 제한되는 문제가 있었습니다.

이 글에서는 이러한 한계를 극복하기 위해 등장한 vLLM의 PagedAttention 알고리즘과 이를 통해 구현된 핵심 기술들을 살펴보겠습니다.

반응형

---

LLM 추론의 병목 지점: KV 캐시 관리

LLM은 텍스트를 생성하는 과정에서 KV 캐시라는 중간 데이터를 저장합니다. 하지만 기존 방식은 KV 캐시를 연속된 메모리 공간에 배치해야 했습니다. 이 방식은 메모리 단편화(fragmentation)를 초래하고, 그 결과 GPU 메모리가 낭비되어 전체 처리량이 제한되는 문제가 발생했습니다.

즉, 효율적인 KV 캐시 관리가 곧 LLM 추론 성능을 좌우하는 핵심 요소였습니다.

---

PagedAttention: 운영체제에서 얻은 해법

vLLM은 운영체제의 가상 메모리와 페이징 기법에서 아이디어를 얻어 PagedAttention을 설계했습니다.

PagedAttention의 원리는 간단합니다.

• KV 캐시를 연속된 메모리에 저장하지 않고, 작은 블록 단위(Page 단위)로 관리
• 물리적으로 떨어져 있는 메모리를 효율적으로 활용
• 단편화를 최소화하고 유연한 메모리 할당 가능

이를 통해 GPU 메모리 낭비를 줄이고 더 많은 요청을 동시에 처리할 수 있게 되었습니다.

---

vLLM의 핵심 기술

PagedAttention을 기반으로 vLLM은 여러 최적화 기능을 제공합니다.

1. 지속적 배치 (Continuous Batching)

• 요청이 들어오는 즉시 배치에 추가
• 완료된 요청은 바로 제거
• GPU 유휴 시간을 최소화하여 기존 정적 배치 대비 최대 24배 처리량을 향상

2. 고급 추론 기능 지원

• 청크 단위 프리필 (Chunked Prefill)
  긴 프롬프트를 여러 청크로 분할하여 단일 요청이 리소스를 독점하지 않도록 개선
• 접두사 캐싱 (Prefix Caching)
  여러 요청에서 동일한 프롬프트 접두사를 공유하여 중복 계산 제거
• 유도 및 추측 디코딩 (Guided & Speculative Decoding)
  • JSON과 같은 특정 형식에 맞는 출력 강제 가능
  • 작은 모델을 활용해 초안을 생성한 뒤 큰 모델로 정교화하여 속도를 높임
• 프리필/디코딩 분리 (Disaggregated Prefill/Decoding)
  • 프리필 단계는 연산 집약적
  • 디코딩 단계는 메모리 대역폭 집약적
  • 두 단계를 분리해 최적의 리소스 배분 가능

---

728x90

vLLM의 PagedAttention은 KV 캐시 관리의 근본적인 비효율을 해결하고, GPU 자원 활용을 극대화했습니다. 이를 통해 추론 처리량을 획기적으로 높이고 다양한 고급 기능까지 지원할 수 있게 되었습니다.

앞으로 더 대규모화되는 LLM 환경에서 효율적인 메모리 관리와 배치 전략은 필수 요소가 될 것입니다. vLLM은 이러한 변화 속에서 LLM 서빙 인프라의 새로운 표준으로 자리잡을 가능성이 큽니다.

https://www.aleksagordic.com/blog/vllm

Inside vLLM: Anatomy of a High-Throughput LLM Inference System - Aleksa Gordić