Open-Qwen2VL: 공개형 멀티모달 대형 언어 모델(MLLM) 사전 훈련 전략

Open-Qwen2VL은 학술 연구를 위한 완전 공개형 멀티모달 대형 언어 모델(MLLM)을 효율적으로 사전 훈련하는 방법론을 제시합니다. 본 연구에서는 기존 MLLM 훈련의 핵심 난제(고품질 데이터 필터링, 멀티모달 데이터 구성, 시퀀스 패킹 기법, 분산 훈련 인프라)를 해결하기 위해 2B(20억) 파라미터 규모의 모델을 2,900만 개의 이미지-텍스트 쌍으로 훈련하였으며, 단 220 A100-40G GPU 시간으로 최적의 성능을 달성하였습니다.

반응형

---

핵심 방법론

1. 데이터 효율성 최적화

• 적응형 이미지 해상도 조정: 학습 초기에 저해상도를 사용하고 점진적으로 해상도를 증가시켜 훈련 비용을 절감
• 멀티모달 시퀀스 패킹 기법 적용: 가변 길이의 이미지-텍스트 샘플을 4096 토큰 컨텍스트 길이에 최적화하여 배치, GPU 메모리 활용 극대화

2. 데이터 품질 개선

• MLLM 기반 자동 필터링(MLM-Filter): 사전 훈련된 MLLM을 활용하여 텍스트 품질을 평가하고 저품질 데이터를 제거
• CLIP 기반 샘플 정제: 이미지-텍스트 쌍의 의미적 일관성을 정량적으로 평가하여 고품질 데이터 유지

3. 모델 아키텍처 설계

• Qwen2.5-1.5B-Instruct LLM 백본 채택
• Adaptive Average-Pooling 기반의 시각 프로젝터 사용
• SigLIP-SO-400M Vision Encoder 활용

4. 멀티모달 시퀀스 패킹 알고리즘

• FFD(First-Fit-Decreasing) 기반 빈 패킹 알고리즘: 가변 길이 샘플을 효과적으로 배치하여 연산량 감소
• <img> 토큰 삽입을 통한 이미지 표현 정규화
• <|im_end|> 토큰을 활용한 이미지-텍스트 경계 명확화

5. 훈련 인프라 및 코드베이스

• Prismatic-VLM 코드베이스 개선: 다중 이미지-텍스트 시퀀스를 지원하는 형태로 수정
• Fully-Sharded Data Parallel(torch-FSDP) 적용: DeepSpeed-Zero3 대비 17% 높은 연산 효율성 확보

---

실험 및 성능 평가

1. 데이터 혼합 전략 및 필터링 기법의 효과 검증

• 자동화된 데이터 필터링이 모델 성능 향상에 기여함을 실험적으로 확인
• 시각적 SFT(Instruction Tuning) 데이터 규모를 1천만 개로 확장하여 추가적인 성능 개선을 입증

2. 다양한 멀티모달 벤치마크에서의 성능 비교

• Open-Qwen2VL은 MMBench, SEEDBench, MMStar, MathVista 등 다수의 벤치마크에서 기존 모델 대비 우수한 성능을 달성
• 특히 MMBench에서 80.9점의 최고 성능을 기록

---

기술적 세부 사항

1. Adaptive Average-Pooling 기반 시각 프로젝터

• Adaptive Average-Pooling 연산과 2층 MLP로 구성
• SigLIP에서 추출한 729개 시각적 패치를 적응적으로 조정하여 최적의 이미지 표현 생성

2. Multimodal Sequence Packing 알고리즘

1. 각 이미지-텍스트 샘플의 전체 길이()를 계산
2. 내림차순 정렬 후 FFD 빈 패킹 기법을 적용하여 4096 토큰 크기에 근접한 배치 생성
3. <img> 토큰을 활용한 이미지 삽입 및 <|im_end|> 토큰을 이용한 명확한 경계 구분
4. 패킹된 데이터를 피클 파일로 저장하여 학습 과정에서 효율적으로 활용

3. 훈련 설정

• BF16(Bfloat16) 연산 정밀도 적용
• 전역 배치 크기: 256(사전 훈련), 128(시각적 SFT)
• 학습률 스케줄링: Linear Warmup + Cosine Decay
• Weight Decay: 0.01(사전 훈련), 0.1(시각적 SFT)

---

728x90

본 연구는 고품질 데이터 필터링 및 멀티모달 시퀀스 패킹 기법을 활용하여, 계산 효율적으로 SOTA(SOTA: State-of-the-Art) 수준의 MLLM 사전 훈련이 가능함을 실증하였습니다.

특히, 멀티모달 시퀀스 패킹 기법 및 적응형 이미지 토큰 조정 전략을 통해 GPU 자원을 최적화하였으며, 이는 학술 연구 및 산업 현장에서 제한된 연산 자원으로도 고성능 MLLM 개발이 가능함을 시사합니다.

향후 Open-Qwen2VL은 다양한 연구 및 실제 응용 사례에서 멀티모달 AI의 핵심 기술 요소로 자리매김할 것으로 기대됩니다.

https://arxiv.org/pdf/2504.00595