Minor Component Adaptation(MiCA): 대규모 언어 모델을 위한 새로운 파라미터 효율적 미세 조정 기법

이 글에서는 대규모 언어 모델(LLM)의 파라미터 효율적 미세 조정(PeFT)을 위한 새로운 접근 방식인 Minor Component Adaptation(MiCA)를 소개합니다. MiCA는 기존 LoRA 방식과 달리, 사전 학습된 모델의 가중치 행렬 중 중요도가 낮은 부분 공간(minor component)에만 학습을 집중함으로써 적은 파라미터로도 높은 지식 습득 성능과 안정성을 동시에 달성합니다. 본문에서는 MiCA의 개념적 배경, 기술적 원리, 기존 방법과의 차별점, 그리고 실험 결과를 중심으로 이 기법이 왜 주목받고 있는지 정리합니다.

반응형

---

대규모 언어 모델 미세 조정의 한계와 문제의식

대규모 언어 모델은 방대한 범용 지식을 사전 학습 단계에서 이미 내재화하고 있습니다. 그러나 특정 도메인이나 새로운 지식을 추가로 학습시키기 위해 전체 파라미터를 미세 조정하는 방식은 다음과 같은 문제를 야기합니다.

• 학습 비용과 메모리 사용량이 매우 큼
• 기존 지식이 훼손되는 재앙적 망각(catastrophic forgetting) 발생
• 새로운 지식과 기존 지식 간 파라미터 간섭 증가

이러한 한계를 해결하기 위해 등장한 것이 LoRA를 포함한 PeFT 방식이지만, 여전히 개선의 여지가 남아 있었습니다. MiCA는 바로 이 지점에서 출발합니다.

---

MiCA의 핵심 개념: Minor Component에 집중하다

MiCA는 사전 학습된 언어 모델의 가중치 행렬을 SVD(Singular Value Decomposition) 관점에서 분석합니다. 가중치 행렬을 분해하면, 모델이 이미 충분히 활용하고 있는 지배적(dominant) 부분 공간과 상대적으로 활용도가 낮은 마이너(minor) 부분 공간으로 나눌 수 있습니다.

MiCA의 핵심 아이디어는 다음과 같습니다.

• 모델의 핵심 구조와 범용 지식은 이미 지배적 부분 공간에 저장되어 있음
• 새로운 도메인 지식은 아직 덜 사용된 마이너 부분 공간에 주입하는 것이 더 효율적임

즉, MiCA는 “이미 중요한 부분은 건드리지 않고, 비어 있는 공간만 활용하자”라는 전략을 취합니다.

---

기술적 상세: SVD 기반 구조적 제약

1. SVD 기반 초기화

• ( U[:, -r:] )에 해당하는 마이너 singular vector를 업데이트의 기준으로 사용

2. 구조적 제약을 통한 학습

• LoRA는 ( \Delta W = \alpha \cdot BA )에서 A와 B를 모두 학습
• MiCA는 B를 마이너 singular vector로 고정(frozen)하고 A만 학습
• 결과적으로 가중치 업데이트는 마이너 부분 공간 내부에서만 발생

3. 지식 통합 전략

• 기존 범용 지식이 저장된 지배적 부분 공간은 보존
• 새로운 도메인 지식은 마이너 부분 공간에 효과적으로 흡수
• 미세 조정 후 가중치 델타를 instruction-tuned 모델과 합성해 지시 이행 능력 유지

이 구조적 제약이 MiCA의 안정성과 효율성을 동시에 보장하는 핵심 요소입니다.

---

LoRA와의 차별점과 장점

MiCA는 LoRA와 비교했을 때 다음과 같은 뚜렷한 차별점을 가집니다.

• 파라미터 효율성: 전체 파라미터 점유율을 6~60% 수준으로 감소
• 지식 습득 성능: 동일 조건에서 최대 5.9배 높은 성능 향상
• 간섭 최소화: 중요도가 낮은 방향으로만 학습을 제한하여 기존 지식 보존
• 재앙적 망각 완화: 파라미터 간 간섭이 줄어들며 안정적인 학습 가능

특히 데이터 규모가 커질수록 이러한 장점은 더욱 뚜렷하게 나타납니다.

---

실험 결과로 확인된 MiCA의 성능

논문에서는 다양한 도메인과 벤치마크를 통해 MiCA의 효과를 검증했습니다.

• 지식 보유 능력
  • Llama-2-7B-chat 모델 기준, LoRA 대비 최대 5.9배 향상
• 파라미터 효율성
  • 더 적거나 동일한 파라미터로 더 높은 정확도 달성
• 학습 안정성
  • 도메인 데이터가 증가할수록 LoRA 대비 성능 격차 확대
• Ablation Study
  • Major 방향이나 Random 성분보다 Minor 방향 학습이 가장 효과적임을 검증

이 결과는 MiCA가 단순한 변형이 아니라, 구조적으로 타당한 접근임을 보여줍니다.

---

728x90

MiCA는 대규모 언어 모델의 가중치 행렬이 가진 스펙트럼 구조를 적극적으로 활용해, 기존 방식이 간과했던 마이너 부분 공간을 학습의 핵심 무대로 끌어올린 방법론입니다. 이를 통해 적은 파라미터로도 높은 도메인 적응력과 안정성을 동시에 달성할 수 있음을 실험적으로 입증했습니다.

향후 MiCA는 다음과 같은 환경에서 특히 높은 활용 가치를 가질 것으로 기대됩니다.

• 제한된 연산 자원과 메모리를 가진 환경
• 특정 도메인 지식을 빠르고 안전하게 이식해야 하는 상황
• 기존 모델의 범용 성능을 최대한 유지해야 하는 실무 시나리오

MiCA는 PeFT 연구 흐름에서 “어디를 학습해야 하는가”라는 질문에 대해 명확한 방향성을 제시한 의미 있는 접근이라 할 수 있습니다.

300x250

https://arxiv.org/pdf/2604.01694