DeepSeek-R1 1.58비트 동적 양자화 모델 실행 가이드

📌 모델 크기를 80% 줄이고, 성능을 유지하면서 실행하는 방법

최근 OpenAI의 O1 모델과 경쟁할 수 있는 DeepSeek-R1이 주목받고 있습니다. 하지만 6710억 개의 파라미터를 가진 이 거대한 모델을 로컬에서 실행하려면 엄청난 리소스가 필요합니다.

이에 따라, 우리는 DeepSeek-R1의 양자화(Quantization) 기법을 연구하고, 모델 크기를 720GB에서 131GB로 80% 축소하면서도 성능을 유지할 수 있도록 최적화했습니다. 이 글에서는 1.58비트 동적 양자화 모델을 실행하는 방법과, GPU 없이도 DeepSeek-R1을 활용하는 방법을 소개합니다.

반응형

---

🔹 DeepSeek-R1 모델과 양자화란?

1️⃣ DeepSeek-R1 모델이란?

DeepSeek-R1은 최신 오픈소스 AI 모델로, OpenAI의 O1 모델과 성능을 비교할 수 있는 강력한 추론(Reasoning) 기능을 갖추고 있습니다. 그러나, 원본 모델 크기가 720GB에 달하기 때문에 고성능 서버가 아니면 실행이 어려운 단점이 있습니다.

이를 해결하기 위해 양자화(Quantization) 기법을 적용하여 모델 크기를 대폭 축소하고, 로컬 환경에서도 실행할 수 있도록 만들었습니다.

2️⃣ 양자화(Quantization)란?

양자화는 모델의 가중치(Weights)를 낮은 비트수로 변환하여 크기를 줄이고 연산 속도를 높이는 기술입니다.
예를 들어, 32비트로 저장된 가중치를 4비트 또는 2비트로 변환하면, 메모리 사용량이 대폭 줄어듭니다.

하지만, 모든 레이어를 동일하게 양자화하면 모델 성능이 크게 저하됩니다. 이를 해결하기 위해 동적 양자화(Dynamic Quantization) 방법을 적용하여, 성능을 유지하면서도 메모리를 줄이는 최적화가 필요합니다.

---

🔹 1.58비트 동적 양자화 모델의 특징

1️⃣ 기존 양자화의 한계

일반적인 양자화 방식은 모든 레이어를 동일한 비트수로 변환합니다. 하지만 이런 방식은 다음과 같은 문제를 일으킵니다.
✔ 출력 품질 저하: 모델이 무의미한 반복 출력을 하거나(예: "Colours with dark Colours with dark Colours...") 엉뚱한 결과를 생성할 수 있음
✔ 계산 불안정성: 특정 레이어에서 연산이 비정상적으로 이루어지며, 예측 성능이 급격히 떨어짐

2️⃣ DeepSeek-R1의 동적 양자화 기법

DeepSeek-R1의 1.58비트 동적 양자화(Dynamic 1.58-bit Quantization) 모델은 레이어별로 다른 비트수를 적용하는 최적화 방법을 사용했습니다.

💡 최적화 전략:
✔ 중요한 레이어는 4비트 유지, 나머지는 1.5~2비트로 변환
✔ MoE(Mixture of Experts) 레이어를 1.5비트로 양자화, 필요 없는 연산 최소화
✔ 가장 민감한 down_proj 레이어는 더 높은 정밀도 유지, 연산 손실 방지

이러한 최적화 덕분에 모델 크기는 720GB → 131GB로 줄어들면서도 성능을 유지할 수 있었습니다.

---

🔹 벤치마크 테스트: 성능 검증

1️⃣ Flappy Bird 게임 생성 테스트

모델의 성능을 검증하기 위해, Flappy Bird 게임 코드를 생성하는 실험을 진행했습니다.
✔ 1.58비트 동적 양자화 모델(131GB)은 69.2%의 정답률을 기록
✔ 2비트(183GB) 모델은 91.7%의 정답률을 기록
✔ 일반적인 양자화 모델(1.58비트, 133GB)은 0%의 정답률 (무의미한 반복 출력)

이 실험을 통해 동적 양자화 기법을 적용해야 모델이 정상적으로 작동한다는 점을 확인했습니다.

---

🔹 DeepSeek-R1 1.58비트 모델 실행 방법

1️⃣ 사전 준비: 모델 다운로드

양자화된 DeepSeek-R1 모델은 Hugging Face에서 다운로드할 수 있습니다.

from huggingface_hub import snapshot_download
snapshot_download(
  repo_id = "unsloth/DeepSeek-R1-GGUF",
  local_dir = "DeepSeek-R1-GGUF",
  allow_patterns = ["*UD-IQ1_S*"],
)

---

2️⃣ 실행 환경별 설정

DeepSeek-R1 1.58비트 모델을 실행하기 위해서는 VRAM(또는 RAM)이 최소 20GB 이상 필요합니다.

💡 최적의 실행 환경
✔ GPU 사용 시: 최소 160GB VRAM 필요 (H100 80GB 2개 조합 추천)
✔ CPU 실행 가능: RAM 20GB 이상 (속도는 느림)
✔ 최적 성능: VRAM + RAM 합이 80GB 이상일 때 가장 빠르게 실행 가능

---

3️⃣ 실행 명령어 예제

모델을 실행하려면, 다음 명령어를 사용하면 됩니다.

✔ GPU 기반 실행 (RTX 4090 예제)

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    --threads 16 \
    --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --n-gpu-layers 7 \
    -no-cnv \
    --prompt "<|User|> Create a Flappy Bird game in Python. <|Assistant|>"

✔ Mac(M1/M2) 기반 실행

./llama.cpp/llama-cli \
    --model DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
    --cache-type-k q4_0 \
    --threads 16 \
    --prio 2 \
    --temp 0.6 \
    --ctx-size 8192 \
    --seed 3407 \
    --n-gpu-layers 59 \
    -no-cnv \
    --prompt "<|User|> Create a Flappy Bird game in Python. <|Assistant|>"

---

728x90

DeepSeek-R1 모델을 1.58비트 동적 양자화 기법으로 최적화함으로써, 모델 크기를 80% 줄이면서도 성능을 유지할 수 있었습니다.

💡 이 글에서 배운 핵심 포인트:
✔ 모델 크기: 720GB → 131GB로 감소
✔ MoE 레이어 최적화로 연산량 감소 및 성능 유지
✔ VRAM 20GB만 있어도 실행 가능 (CPU 실행 가능)
✔ 실제 테스트에서 69.2% 정확도 기록

앞으로도 AI 모델의 경량화는 중요한 연구 주제가 될 것이며, DeepSeek-R1의 최적화 기법은 다양한 AI 응용 분야에서 활용될 수 있을 것입니다. 🚀

https://unsloth.ai/blog/deepseekr1-dynamic?fbclid=IwY2xjawII6ypleHRuA2FlbQIxMQABHaD3JIAhF7eLFU3UorL86G8AvYv19dp7modNIejBv2fg71wjyQNwyGpgiw_aem_43xveZrAP7IDoRmU5u0Jwg

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."