거대한 AI 모델을 작은 장치로? LLM과 Quantization의 모든 것

딥러닝의 발전은 급속도로 이루어지고 있으며, 그에 따라 모델의 규모와 복잡성 또한 기하급수적으로 증가하고 있습니다. 특히 대규모 언어 모델(LLM, Large Language Models)과 같은 거대한 모델들이 등장하면서, 이러한 모델을 실제로 활용 가능한 형태로 변환하기 위한 다양한 최적화 기법들이 연구되고 있습니다. 그중에서도 특히 주목받고 있는 기술이 바로 '양자화(Quantization)'입니다. 본 글에서는 Quantization의 개념, 필요성, 그리고 유형 및 적용 방식에 대해 심층적으로 살펴보고자 합니다.

반응형

---

Quantization이란 무엇인가?

Quantization은 딥러닝 모델의 파라미터를 더 낮은 정밀도의 비트로 매핑하는 과정입니다. 즉, 원래 높은 정밀도를 가진 수치 데이터(예: 32비트 부동소수점)를 더 적은 비트 수로 표현하여 모델의 메모리 사용량과 연산 비용을 줄이는 최적화 기법입니다. Quantization을 통해 표현할 수 있는 수의 범위가 제한되지만, 이를 통해 모델의 추론 시간과 메모리 사용량을 크게 절감할 수 있습니다. 특히 LLM처럼 매우 큰 모델의 경우, 이러한 최적화는 필수적입니다. 모델의 성능을 일정 수준 유지하면서도 경량화하여 다양한 환경에서 활용할 수 있도록 하는 것이 Quantization의 주요 목적입니다.

Quantization의 필요성

대규모 딥러닝 모델들은 수많은 행렬 곱셈 연산을 포함하고 있으며, 이는 매우 높은 연산 자원과 메모리 대역폭을 요구합니다. 특히 LLM과 같은 모델은 수십억 개의 파라미터를 포함하고 있어, 추론 과정에서 **메모리 대역폭(memory bandwidth)**과 **연산 복잡도(computational complexity)**가 주요한 병목 현상이 됩니다. Quantization은 이러한 문제를 해결하기 위해 메모리 사용량과 연산 비용을 절감하여 모델의 추론 속도를 향상시키고, 더 작은 장치에서도 모델을 실행할 수 있도록 도와줍니다. LLM의 경우, 일부 정확도를 포기하더라도 Quantization으로 인한 성능 이득이 훨씬 크기 때문에, 최적의 트레이드오프(trade-off)를 제공할 수 있습니다.

Quantization의 유형

Quantization은 데이터의 양자화 방식에 따라 여러 유형으로 구분됩니다. 대표적인 유형으로는 Uniform Quantization과 Non-uniform Quantization이 있습니다.

• Uniform Quantization: Quantization 단계가 동일한 간격으로 나뉘는 방식입니다. 입력 값을 변환할 때 출력 값들 사이의 간격이 균일하게 유지되며, 구현이 간단하고 효율적입니다. 그러나 모든 값에 대해 동일한 정밀도로 표현하기 때문에 데이터의 분포에 따라 **양자화 오류(quantization error)**가 증가할 수 있습니다.
• Non-uniform Quantization: 양자화 단계가 균일하지 않은 방식으로, 데이터의 분포에 따라 적절히 양자화됩니다. 양자화 오류가 적은 값을 제공할 수 있으며, 특히 모델의 가중치가 특정 범위에 집중된 경우 Non-uniform Quantization이 더 나은 성능을 발휘합니다.

대칭적 vs 비대칭적 Quantization

Quantization은 또한 대칭(Symmetric)과 비대칭(Asymmetric) 방식으로 구분될 수 있습니다.

• Symmetric Quantization: 양자화된 값의 범위가 대칭적이며, 일반적으로 offset이 없는 형태로 이루어집니다. 즉, 음수와 양수의 절댓값 범위가 동일합니다. 이 방식은 구현이 단순하고 계산 비용이 적지만, 데이터가 특정 방향으로 편향된 경우 비효율적일 수 있습니다.
• Asymmetric Quantization: 양자화된 값에 offset이 존재하여 데이터의 최소값과 최대값을 유연하게 표현할 수 있는 방식입니다. 이를 통해 데이터 분포가 비대칭적인 경우에도 효과적으로 양자화가 가능하며, 모델의 표현력을 증가시킬 수 있습니다.

Quantization 적용 단계: PTQ vs QAT

Quantization은 모델의 학습 과정에서 어느 시점에 적용되는지에 따라 **Post-training Quantization (PTQ)**와 **Quantization-aware Training (QAT)**으로 나뉩니다.

• Post-training Quantization (PTQ) PTQ는 모델 학습이 완료된 후 Quantization을 적용하는 방식입니다. 학습된 모델의 가중치와 활성화 값을 양자화하여 경량화하며, 추가적인 학습 과정 없이 빠르게 적용할 수 있다는 장점이 있습니다. 그러나 일부 정밀도 손실이 발생할 수 있습니다. PTQ는 오픈소스 LLM과 같이 이미 학습된 모델을 최적화하여 사용해야 하는 경우에 적합합니다.

• Quantization-aware Training (QAT) QAT는 모델 학습 과정에서부터 Quantization을 고려하는 방식입니다. 학습된 모델에 Quantize/Dequantize 노드를 추가하여 추가 학습을 수행함으로써, 양자화로 인한 손실을 최소화합니다. 이를 통해 PTQ보다 정확도가 높은 결과를 얻을 수 있지만, 추가적인 학습 과정이 필요하기 때문에 더 많은 자원과 시간이 소요됩니다. QAT는 LLM을 직접 학습하고 튜닝하는 연구 환경에서 주로 사용됩니다.

728x90

---

Quantization은 딥러닝 모델, 특히 대규모 언어 모델(LLM)의 추론 비용을 줄이고, 다양한 환경에서 활용 가능성을 높이기 위한 중요한 기술입니다. 모델의 경량화는 단순히 메모리 사용량 절감에 그치지 않고, 모델을 더 빠르게 실행하고 다양한 장치에서의 접근성을 높이는 핵심적인 역할을 합니다. Uniform과 Non-uniform, Symmetric과 Asymmetric Quantization의 차이와 PTQ 및 QAT의 적용 방식을 이해함으로써 우리는 딥러닝 모델 최적화의 다양한 전략을 명확히 이해할 수 있습니다.

향후에도 더 발전된 Quantization 기법들이 연구될 것이며, 이러한 기술들은 거대한 AI 모델들을 더욱 가볍고 효율적으로 만들어 우리의 일상 속에 더욱 밀접하게 다가오게 할 것입니다.

 

참고 링크

https://towardsdatascience.com/introduction-to-weight-quantization-2494701b9c0c?gi=8bcabfede56b