Krea 2 기술 리포트로 살펴보는 차세대 이미지 생성 파운데이션 모델의 설계와 학습 전략

이 글은 Krea 2 Technical Report를 기반으로, Krea 2가 어떤 문제의식에서 출발했으며 어떤 기술적 선택과 학습 전략을 통해 설계된 이미지 생성 파운데이션 모델인지 정리한 기술 블로그입니다. 최근 이미지 생성 모델이 고해상도·고정밀 성능에서는 상향 평준화됐지만, 창작자가 탐색하고 조정할 수 있는 ‘표현의 다양성’은 오히려 제한되고 있다는 문제를 짚고, 이를 해결하기 위해 Krea 2가 데이터, 아키텍처, 학습 파이프라인 전반에서 어떤 접근을 취했는지 단계적으로 설명합니다.

반응형

---

이미지 생성 모델의 한계와 Krea 2의 출발점

최근 몇 년간 확산 모델과 플로우 매칭 기반 모델은 사실적인 이미지, 안정적인 구조, 텍스트 렌더링까지 높은 수준의 성능을 보여주고 있습니다. 하지만 이런 발전의 이면에는 공통된 문제가 있습니다.
모델들이 ‘잘 나온 하나의 기본 미학(default aesthetic)’에 수렴하면서, 스타일·분위기·구성 등 다양한 시각적 방향을 탐색하기에는 한계가 생겼다는 점입니다.

Krea 2는 이 지점에서 출발합니다.
이미지 생성은 단일 결과를 빠르게 얻는 도구가 아니라, 다양한 미적 공간을 탐색할 수 있는 창작 매체여야 한다는 관점입니다. 이를 위해 Krea 2는 “미학적 다양성”과 “사용자 제어 가능성”을 핵심 목표로 설계되었습니다.

---

Krea 2의 핵심 목표: 탐색 가능한 이미지 생성

Krea 2는 단순히 성능 지표를 끌어올리는 데 집중하지 않습니다. 대신 다음 두 가지를 동시에 만족시키는 것을 목표로 합니다.

• 넓은 시각적 분포: 다양한 스타일, 무드, 표현 방식을 포괄
• 높은 제어력: 사용자가 원하는 방향으로 결과를 조정 가능

이를 위해 데이터 수집부터 학습, 추론 단계까지 전 과정을 새로 설계했습니다.

---

데이터 전략: ‘고품질’보다 ‘정확한 다양성’

데이터 큐레이션 원칙

Krea 2는 데이터 품질을 단순히 미적 점수로 판단하지 않습니다.
흐릿한 이미지나 과도한 노이즈도 의도된 표현일 수 있으며, 캡션이 정확하다면 학습에 의미가 있다고 봅니다.

따라서 사전 학습 데이터에서는 다음 항목만을 제거합니다.

• 중복 데이터 및 과도하게 반복된 개념
• 캡션 모델이 핵심 정보를 포착하지 못한 이미지
• 편향이나 아티팩트를 유발하는 데이터
• 저해상도에서 표현 불가능할 정도로 복잡한 이미지
• AI로 생성된 이미지

특히 AI 생성 이미지를 전면 배제한 점이 특징입니다. 합성 데이터는 학습을 빠르게 만들 수 있지만, 장기적으로는 모델 출력 분포에 편향을 남긴다고 판단했기 때문입니다.

---

캡셔닝 파이프라인: 풍부한 텍스트-이미지 정렬

Krea 2는 이미지 하나당 최대한 풍부한 설명을 제공하는 캡션 전략을 사용합니다.

1. OCR을 통해 이미지 내 텍스트 추출
2. 메타데이터와 함께 캡션 모델에 입력해 장문 설명 생성
3. 저비용 LLM으로 장문 캡션을 다양한 길이와 형식으로 변환

이 방식은 모델이 긴 프롬프트에서 빠르게 수렴하도록 돕는 동시에, 실제 사용 환경에서 흔한 짧은 프롬프트에도 대응할 수 있도록 합니다.

---

다단계 학습 파이프라인 구조

Krea 2는 단일 학습이 아닌, 목적이 다른 여러 단계를 거치는 구조를 채택합니다.

• 사전 학습(Pretraining): 텍스트-이미지 정렬, 구조 이해, 스타일 폭 확보
• 중간 학습(Midtraining): 특정 도메인과 스타일 분포 보정
• 지도 미세조정(SFT): 미적 품질 강화
• 선호 최적화(PO): 사람의 선호를 반영한 출력 분포 조정
• 강화학습(RL): 미학, 프롬프트 충실도, 텍스트 렌더링, 구조 안정성까지 종합 최적화

이 구조는 LLM 학습 파이프라인과 유사하지만, 이미지 생성 특성에 맞게 세밀하게 조정돼 있습니다.

---

아키텍처 설계: 단순하지만 효율적인 DiT

Krea 2는 확산 트랜스포머(DiT)를 기반으로 하되, 안정성·성능·효율·단순성이라는 네 가지 기준으로 반복적인 실험을 진행했습니다.

주요 선택 사항은 다음과 같습니다.

• MLP: GeLU 대신 SwiGLU 채택
• Attention: GQA와 gated sigmoid attention 결합
• 정규화: LayerNorm 대신 zero-centered RMSNorm
• 텍스트 인코더: 단일 VLM 기반(Qwen 3 VL) 구조
• 타임스텝 조건: 대규모 MLP 대신 가벼운 bias 방식

이러한 선택은 성능 향상뿐 아니라, 대규모 분산 학습 환경에서의 안정성과 효율을 함께 고려한 결과입니다.

---

프롬프트 확장 시스템: 짧은 입력의 한계 보완

실제 사용자 프롬프트는 학습에 사용된 풍부한 캡션과 큰 차이가 있습니다.
Krea 2는 이를 해결하기 위해 프롬프트 확장 시스템을 도입했습니다.

• 짧고 모호한 사용자 입력을 모델 친화적인 상세 캡션으로 변환
• 사용자 의도를 왜곡하지 않도록 RL 기반으로 조정
• 단일 ‘하우스 스타일’로 수렴하지 않도록 다양성 보상 포함

이를 통해 사용자는 복잡한 프롬프트 작성 없이도 다양한 결과를 탐색할 수 있습니다.

---

스타일 레퍼런스 시스템: 이미지로 의도 전달

텍스트로 설명하기 어려운 스타일이나 분위기를 위해, Krea 2는 이미지 기반 스타일 레퍼런스 시스템을 제공합니다.

• 여러 레퍼런스 이미지의 스타일을 가중치로 혼합
• 스타일 강도 조절 가능
• 콘텐츠 누출을 최소화하도록 설계

이는 스타일과 콘텐츠를 분리해 제어하려는 시도라는 점에서 실용적인 접근입니다.

---

분산 학습 인프라와 안정성 확보

Krea 2는 PyTorch 기반으로 분산 학습 인프라를 자체 구축했습니다.

• FSDP2와 텐서 병렬 조합
• torch.compile 중심의 최적화
• Parquet 기반 데이터 로딩과 사전 셔플
• 잦은 체크포인팅으로 장애 복구 대응

특히 대규모 학습에서 빈번히 발생하는 GPU 오류와 I/O 불균형을 실무적으로 해결하는 데 초점을 맞췄습니다.

---

728x90

Krea 2는 단순히 “더 잘 그리는 모델”이 아니라, “더 넓게 탐색할 수 있는 모델”을 지향합니다.
데이터 구성, 아키텍처 선택, 학습 전략, 사용자 인터페이스까지 모두 창작자의 탐색 경험을 중심에 둔 설계라는 점이 인상적입니다.

이 접근은 향후 이미지 생성 모델이 단일 성능 경쟁을 넘어, 창작 도구로서 얼마나 유연하고 조정 가능한가로 평가받게 될 가능성을 보여줍니다. Krea 2는 그 방향성을 기술적으로 구체화한 사례라고 볼 수 있습니다.

300x250

https://www.krea.ai/blog/krea-2-technical-report

Krea 2 Technical Report