Attention Noise 문제 해결! 차세대 AI 모델, Differential Transformer의 혁신적 접근

최근 대형 언어 모델(LLM)의 발달로 자연어 처리(NLP) 분야는 급격한 혁신을 이루었으며, 그 중심에는 Transformer 기반의 모델인 GPT와 BERT가 자리잡고 있습니다. 이들 모델은 강력한 성능을 바탕으로 다양한 응용에서 성공을 거두었지만, 시간이 지나면서 몇 가지 한계점이 드러나기 시작했습니다. 특히, Attention 메커니즘이 복잡한 문맥을 처리할 때 발생하는 Attention noise 문제가 주된 이슈로 부각되었습니다.

---

기존 Transformer의 한계

1. Attention Noise 문제: Transformer 모델은 시퀀스 내 모든 단어에 Attention을 할당하는데, 이는 긴 문맥을 처리할 때 특히 문제가 됩니다. 즉, 중요한 정보에 충분히 집중하지 못하고 불필요한 정보에 과도한 Attention을 할당하여 모델 성능이 떨어지는 현상이 발생합니다. 이 문제는 긴 문장이나 복잡한 문맥을 처리할 때 더 두드러지며, 정보의 과부하로 인해 모델이 **환각(hallucination)**을 일으키기도 합니다. 이는 모델이 실제로는 존재하지 않는 정보나 잘못된 결과를 생성하는 문제를 유발합니다.
2. 긴 문맥 처리의 어려움: Transformer는 시퀀스 길이가 길어질수록 성능이 저하됩니다. 긴 문맥을 처리할 때 Attention 메커니즘이 모든 토큰에 대한 정보를 계산하므로, 관련 없는 정보에도 리소스를 할당하게 되어 성능 저하를 초래합니다.

---

Differential Transformer의 탄생 배경

**Differential Transformer(DIFF Transformer)**는 이러한 한계를 극복하고자 **마이크로소프트(Microsoft)**에서 제안한 새로운 아키텍처입니다. 특히, Attention noise를 줄이고 긴 문맥을 처리하는 능력을 개선하는 데 중점을 두고 있습니다. 기존의 Transformer와 달리, DIFF Transformer는 Differential Attention 메커니즘을 도입하여 중요한 정보에 집중하고 불필요한 정보를 걸러내는 데 탁월한 성능을 발휘합니다.

---

Differential Transformer의 주요 특징

1. Differential Attention: DIFF Transformer의 핵심은 Differential Attention 메커니즘입니다. 기존 Transformer는 하나의 softmax Attention 맵을 통해 모든 시퀀스에 대한 Attention을 분산시켰다면, DIFF Transformer는 두 개의 softmax Attention 맵을 사용하여 그 차이를 계산합니다. 이를 통해 불필요한 정보에 대한 Attention을 효과적으로 제거하고, 중요한 정보에 더 집중할 수 있게 되었습니다. 이 메커니즘은 특히 환각(hallucination) 문제를 해결하는 데 기여하여 모델이 잘못된 정보를 생성하는 빈도를 크게 줄입니다.
2. 긴 문맥 처리 능력: DIFF Transformer는 Attention noise 문제를 해결함으로써 긴 문맥에서도 성능이 저하되지 않도록 설계되었습니다. 기존 Transformer와 달리, 두 Attention 맵 간의 차이를 계산하여 긴 시퀀스에서도 중요한 정보에만 집중하게끔 유도합니다. 이 덕분에 64K 토큰 같은 매우 긴 문장도 성능 저하 없이 처리할 수 있으며, 문서 검색, 긴 텍스트 요약 같은 긴 문맥이 필요한 작업에 매우 적합한 모델로 평가받고 있습니다.
3. GroupNorm: DIFF Transformer는 Attention 헤드 간의 출력을 정규화하기 위해 GroupNorm을 도입하였습니다. 이는 각 헤드가 생성하는 값의 차이를 유사한 범위로 조정하여 학습의 안정성을 높이고, 더 일관된 성능을 발휘할 수 있게 해줍니다. 특히 복잡한 문맥에서도 안정적으로 동작하는 이유 중 하나입니다.
4. λ(람다) 초기화: λ는 두 Attention 맵 간의 차이를 조정하는 가중치로, 모델이 불필요한 정보와 중요한 정보를 얼마나 차별화할지 결정합니다. DIFF Transformer는 다양한 λ 초기화 방식에도 강한 성능을 보여주며, 고정된 값이나 지수적 초기화 방식을 통해 안정적으로 학습할 수 있습니다.
5. 효율적인 모델 양자화: 기존 Transformer는 학습 및 추론 중에 매우 큰 활성화 값을 생성하는 경우가 많아, 양자화된 환경에서 성능 저하를 겪는 문제가 있었습니다. 반면, DIFF Transformer는 활성화 이상치(activation outliers)를 줄여, 자원 제약 환경에서도 효율적으로 작동합니다. 이는 모델을 저비트 환경에서도 안정적으로 사용할 수 있음을 의미합니다.

---

Differential Transformer는 기존 Transformer의 한계였던 Attention noise 문제를 해결하고, 특히 긴 문맥 처리와 환각 현상을 줄이는 데 뛰어난 성능을 발휘합니다. 이와 함께 GroupNorm과 λ 초기화를 통해 모델의 안정성을 높이며, 자원 제약이 있는 환경에서도 효율적인 학습과 추론이 가능하다는 점에서 매우 주목받고 있습니다.

이 모델이 향후 NLP 연구와 실용적인 응용 분야에서 어떤 변화를 불러올지 기대가 큽니다! 😁

참고자료

https://arxiv.org/abs/2410.05258