KTransformers: 차세대 LLM 추론·파인튜닝을 위한 유연한 이기종 최적화 프레임워크

대규모 언어모델(LLM)이 발전하면서 모델 크기와 연산량은 폭발적으로 증가하고 있습니다. 문제는 성능 향상을 위해 필요한 GPU 자원이 지나치게 비싸고, 환경별 최적화가 쉽지 않다는 점입니다. 많은 개발자와 연구자는 “지금 손에 있는 하드웨어로 이 모델을 제대로 돌릴 수 있을까?”라는 고민을 반복하게 됩니다.
KTransformers는 이러한 현실적인 문제를 해결하기 위해 등장한 CPU·GPU 이기종 기반의 최적화 프레임워크입니다. 최신 모델을 빠르게 추론하고, 초대형 MoE 모델까지 적은 자원으로 파인튜닝할 수 있도록 설계된 점이 특징입니다.

아래에서는 KTransformers의 핵심 구성 요소, 기능, 업데이트 내역, 실제 활용 예시까지 정리합니다.

반응형

---

KTransformers Overview

KTransformers는 이기종 하드웨어 환경을 활용한 고효율 LLM 추론 및 파인튜닝을 목표로 하는 프로젝트입니다.
전체 프레임워크는 크게 두 가지 모듈로 구성됩니다.

1. kt-kernel

CPU·GPU 혼합 환경에서 빠른 추론을 제공하는 고성능 커널 세트입니다.
특히 INT4/INT8 기반의 경량 추론, MoE 최적화, 다양한 가속기 지원 등이 핵심입니다.

2. kt-sft

초대형 모델까지 지원하는 파인튜닝 프레임워크로, LLaMA-Factory와 완전하게 통합되어 있습니다.
671B 규모 DeepSeek-V3 모델도 70GB GPU + 1.3TB RAM 조건에서 학습이 가능합니다.

---

kt-kernel: 고성능 LLM 추론 커널

핵심 특징

1. AMX/AVX 기반 CPU 가속

Intel AMX, AVX512, AVX2를 활용하여 INT4/INT8 양자화 모델을 고속으로 실행합니다.
GPU가 부족한 환경에서도 효율적인 추론이 가능합니다.

2. MoE 최적화

NUMA-aware 메모리 배치로 MoE 전문가 레이어 접근 비용을 최소화합니다.
핫 전문가를 GPU에, 콜드 전문가를 CPU에 올리는 이기종 구조도 지원합니다.

3. 폭넓은 양자화 지원

CPU 기준 INT4/INT8 추론, GPU 기준 GPTQ 기반 양자화 가속을 제공합니다.

4. 프레임워크 통합 용이

SGLang 같은 추론 엔진에 쉽게 결합할 수 있는 Python API를 제공합니다.

---

추론 성능 예시

모델	하드웨어 구성	전체 처리량	출력 처리량(8-way)
DeepSeek-R1-0528 (FP8)	8×L20 GPU + Xeon Gold 6454S	227.85 tokens/s	87.58 tokens/s

이기종 환경에서 MoE 기반 모델을 배치해도 높은 처리량을 유지하는 점이 특징입니다.

---

kt-sft: 초대형 모델 파인튜닝 프레임워크

kt-sft는 LLaMA-Factory와 통합되어 있으며, 초거대 MoE 모델을 적은 VRAM에서도 파인튜닝할 수 있도록 설계되었습니다.

주요 특징

1. 자원 효율 극대화

671B DeepSeek-V3 모델을 단일 환경

• GPU 메모리 70GB
• 시스템 메모리 1.3TB
  조건에서 파인튜닝할 수 있습니다.
  이는 일반적으로 요구되는 GPU 자원을 크게 줄여주는 구조입니다.

2. LoRA 완전 지원

LoRA 기반 경량 파인튜닝을 지원하며, CPU·GPU 병렬 처리로 효율을 극대화합니다.

3. 생산 환경 최적화

학습뿐만 아니라

• Chat 모드
• Batch inference
• Metrics 평가
  등 운영 환경에 필요한 기능까지 포함되어 있습니다.

---

KTransformers가 제공하는 기술적 가치

1. GPU 자원을 크게 절감하면서도 최신 모델을 실행할 수 있습니다.
2. CPU와 GPU를 혼합해 활용하므로 비용 대비 성능을 극대화할 수 있습니다.
3. SGLang, LLaMA-Factory 등 대중적인 프레임워크와 통합되어 사용성이 높습니다.
4. DeepSeek, Qwen, Kimi-K2 등 최신 모델 지원 속도가 매우 빠릅니다.
5. MoE 구조 모델을 위한 최적화가 특히 강력합니다.

---

KTransformers는 대규모 언어모델을 더 빠르고 저렴한 환경에서 활용하기 위한 매우 실용적인 솔루션입니다.
특히 CPU-GPU 이기종 환경을 적극 활용하는 구조는 기존 GPU 단일 기반 추론 엔진의 한계를 명확히 보완합니다.
또한 671B급 모델까지 파인튜닝 가능한 kt-sft는 초대형 모델 연구 및 서비스 구축에 새로운 가능성을 제공합니다.

앞으로 더 많은 가속기와 최신 모델들을 빠르게 지원하는 만큼, 대규모 AI 모델의 추론과 파인튜닝을 고민하는 개발자와 연구자에게 KTransformers는 중요한 선택지가 될 것입니다.

블로그 형식에 맞게 전체 내용을 한 번에 구성했으며, 입력된 정보만을 기반으로 명확하고 이해하기 쉽게 정리했습니다.

300x250

https://github.com/kvcache-ai/ktransformers

GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations