SANA 완전 정리: 고해상도 이미지·비디오 생성을 위한 오픈소스 AI 프레임워크

SANA란 무엇인가? 고해상도 이미지와 비디오 생성을 위한 효율적인 AI 프레임워크

생성형 AI 기술이 빠르게 발전하면서 더욱 높은 해상도의 이미지와 긴 길이의 비디오를 빠르게 생성하는 것이 중요한 과제가 되고 있습니다. 하지만 기존의 대규모 확산(Diffusion) 모델은 높은 연산량과 많은 GPU 메모리를 요구하기 때문에 학습과 추론 비용이 매우 높다는 한계가 있었습니다.

SANA는 이러한 문제를 해결하기 위해 개발된 효율성 중심의 오픈소스 생성형 AI 프레임워크입니다. 단순히 이미지 생성 모델 하나를 제공하는 것이 아니라 이미지 생성부터 비디오 생성, 실시간 비디오 편집, 월드 모델(World Model), 강화학습 기반 후처리(Post-Training)까지 하나의 코드베이스에서 제공하는 통합 플랫폼입니다.

특히 고해상도 이미지 생성과 장시간 비디오 생성 환경에서도 높은 성능과 빠른 속도를 제공하도록 설계되었으며, 학습과 추론 모두를 지원하는 완전한 오픈소스 파이프라인을 제공합니다.

반응형

---

SANA 프로젝트 구성

SANA 저장소는 하나의 모델이 아니라 다양한 목적에 맞는 여러 프로젝트를 함께 제공합니다.

• SANA : 고해상도 Text-to-Image 생성
• SANA-1.5 : 학습 및 추론 효율을 향상시킨 개선 버전
• SANA-Sprint : One-Step 또는 Few-Step 이미지 생성
• SANA-Video : 텍스트 기반 비디오 생성
• LongSANA : 장시간 비디오 생성
• SANA-WM : 제어 가능한 World Model
• SANA-Streaming : 실시간 Video-to-Video 편집
• Sol-RL : 생성 모델 후학습(Post-Training)을 위한 강화학습 프레임워크

즉, 하나의 저장소 안에서 이미지 생성부터 비디오 생성, 강화학습, 스트리밍 편집까지 모두 활용할 수 있도록 구성되어 있습니다.

---

SANA의 주요 특징

1. 고해상도 이미지 생성

SANA는 최대 4K 해상도의 이미지를 생성할 수 있도록 설계되었습니다.

특히 기존 Flux-12B 대비

• 모델 크기는 약 20배 작고
• 생성 속도는 최대 100배 빠른 것을 목표로 설계되었습니다.

높은 해상도에서도 효율적인 연산을 유지할 수 있도록 다양한 최적화 기법이 적용되었습니다.

---

2. 이미지부터 비디오까지 하나의 프레임워크

SANA는 이미지 생성만 지원하는 것이 아닙니다.

지원 범위는 다음과 같습니다.

• Text-to-Image
• Text-to-Video
• Text + Image 기반 Video 생성
• 실시간 Video Editing
• World Model 생성

하나의 코드베이스에서 다양한 생성형 AI 작업을 수행할 수 있다는 것이 가장 큰 특징입니다.

---

3. 효율적인 학습과 추론

SANA는 학습뿐 아니라 실제 서비스 환경에서 중요한 추론(Inference) 속도 향상에도 집중했습니다.

대표적으로

• Few-Step Generation
• One-Step Generation
• Inference Scaling
• Quantization(4bit / 8bit)

등을 지원하여 다양한 GPU 환경에서 실행할 수 있도록 설계되었습니다.

특히 4bit 양자화를 활용하면 8GB VRAM 환경에서도 실행이 가능합니다.

---

4. 완전한 오픈소스 생태계

SANA는 단순히 모델만 공개한 것이 아니라 다음과 같은 구성 요소를 함께 제공합니다.

• 학습 코드
• 추론 코드
• 모델 가중치
• Model Zoo
• 문서
• ControlNet
• LoRA
• DreamBooth
• ComfyUI
• Diffusers
• SGLang 지원

덕분에 연구뿐 아니라 실제 서비스 개발에도 활용하기 쉬운 환경을 제공합니다.

---

SANA를 구성하는 핵심 기술

Linear Attention

기존 DiT(Diffusion Transformer)의 일반적인 Attention 대신 Linear Attention을 적용하여 고해상도 이미지 생성 시 계산량을 줄였습니다.

이를 통해 큰 해상도에서도 보다 효율적인 연산이 가능합니다.

---

DC-AE

DC-AE는 이미지를 32배 압축하는 AutoEncoder입니다.

기존 8배 압축 방식보다 훨씬 적은 Latent Token을 사용하여 메모리 사용량과 연산량을 줄여줍니다.

---

Decoder-only Text Encoder

텍스트 인코더에는 최신 Decoder 기반 LLM 구조를 적용했습니다.

이를 통해 이미지와 텍스트 간의 정렬(Text-Image Alignment) 성능을 향상시키고, In-context Learning을 활용할 수 있도록 설계되었습니다.

---

Flow-DPM-Solver

샘플링 과정에서 필요한 단계 수를 줄여 빠른 이미지 생성을 지원합니다.

적은 추론 단계에서도 높은 품질의 이미지를 생성할 수 있도록 최적화되었습니다.

---

sCM Distillation

SANA-Sprint에서 사용하는 핵심 기술입니다.

Continuous-time Consistency Distillation을 적용하여 One-Step 또는 Few-Step 생성이 가능합니다.

이를 통해 매우 빠른 이미지 생성 속도를 제공합니다.

---

Block Causal Linear Attention

장시간 비디오 생성을 위한 기술입니다.

긴 시퀀스에서도 메모리 사용량을 줄이면서 안정적인 비디오 생성을 지원합니다.

---

Streaming Video Editing

실시간 Video-to-Video 편집을 위한 기술입니다.

시간적인 일관성을 유지하면서 긴 길이의 영상을 편집할 수 있도록 설계되었습니다.

---

주요 모델 소개

SANA

텍스트를 입력하여 최대 4K 해상도의 이미지를 생성하는 기본 모델입니다.

---

SANA-1.5

학습 효율과 추론 효율을 모두 개선한 버전입니다.

Inference Scaling 기법을 적용하여 더욱 높은 이미지 품질을 제공합니다.

---

SANA-Sprint

One-Step 또는 Few-Step 방식의 초고속 이미지 생성 모델입니다.

공개된 내용에 따르면 H100 GPU에서는 1024px 이미지를 약 0.1초 만에 생성할 수 있으며, RTX 4090에서는 약 0.3초의 생성 속도를 제공합니다.

---

SANA-Video

텍스트 또는 이미지를 기반으로 비디오를 생성하는 모델입니다.

720p 비디오 생성과 긴 길이의 영상 생성 기능을 제공합니다.

---

LongSANA

실시간 수준의 긴 길이 비디오 생성 모델입니다.

최대 1분 길이의 영상을 생성하는 것을 목표로 개발되었습니다.

---

SANA-WM

Controllable World Model입니다.

720p 해상도의 약 1분 길이 비디오를 생성하며, 6-DoF 카메라 제어 기능을 지원합니다.

---

SANA-Streaming

실시간 Video-to-Video 편집 모델입니다.

720p 해상도에서 약 1분 길이의 영상을 편집할 수 있으며, 스트리밍 환경을 고려한 구조를 제공합니다.

---

Sol-RL

생성 모델 후학습(Post-Training)을 위한 강화학습 프레임워크입니다.

NVFP4 기반 Rollout과 BF16 학습을 결합하여 학습 효율 향상을 목표로 합니다.

---

성능 특징

SANA는 다양한 성능 개선을 목표로 설계되었습니다.

대표적으로 다음과 같은 특징을 제공합니다.

• 최대 4K 이미지 생성 지원
• 720p 장시간 비디오 생성
• One-Step 이미지 생성
• 4bit / 8bit 양자화 지원
• 8GB VRAM 환경 실행 지원
• Diffusers 지원
• ComfyUI 지원
• SGLang 지원
• LoRA 및 ControlNet 지원

또한 SANA-1.5는 이미지 생성 품질 평가 지표(FID, CLIP, GenEval 등)에서도 개선된 성능을 제시하고 있습니다.

---

간단한 사용 예제

SANA는 Hugging Face Diffusers를 이용하여 비교적 간단하게 사용할 수 있습니다.

먼저 저장소를 내려받고 환경을 구성합니다.

git clone https://github.com/NVlabs/Sana.git
cd Sana
./environment_setup.sh sana

이후 Diffusers 파이프라인을 이용하여 이미지를 생성할 수 있습니다.

from diffusers import SanaPipeline
import torch

pipe = SanaPipeline.from_pretrained(
    "Efficient-Large-Model/SANA1.5_1.6B_1024px_diffusers",
    torch_dtype=torch.bfloat16,
)

pipe.to("cuda")

image = pipe(
    prompt="a cyberpunk cat with a neon sign that says Sana",
    height=1024,
    width=1024,
    guidance_scale=4.5,
    num_inference_steps=20,
)[0]

사용 시에는 diffusers 0.32.0 이상의 버전이 필요합니다.

---

지속적으로 확장되는 SANA 생태계

SANA 프로젝트는 매우 활발하게 업데이트되고 있습니다.

최근에는 다음과 같은 기능들이 추가되었습니다.

• SANA-Streaming 학습 코드 공개
• SANA-WM Stage-1 학습 지원
• 실시간 Streaming Video Editing 공개
• World Model 공개
• Sol-RL 강화학습 인프라 공개
• SGLang 지원
• Diffusers 통합
• ComfyUI 지원
• 2K 및 4K 모델 지원
• 4bit·8bit 양자화 지원

이처럼 이미지 생성을 넘어 비디오 생성, 월드 모델, 실시간 편집, 강화학습까지 지원 범위를 지속적으로 확장하고 있습니다.

---

728x90

SANA는 고해상도 이미지 생성에 초점을 맞춘 모델을 넘어, 이미지 생성과 비디오 생성, 실시간 편집, 월드 모델, 강화학습 후처리까지 포함하는 통합 생성형 AI 프레임워크입니다.

특히 Linear Attention, DC-AE, sCM Distillation, Flow-DPM-Solver와 같은 효율화 기술을 통해 고품질 생성과 빠른 추론을 동시에 지향하며, 4bit 양자화를 활용한 저사양 GPU 환경 지원까지 고려한 점이 큰 특징입니다.

또한 학습 코드, 추론 코드, 모델 가중치, 다양한 개발 도구와의 연동을 모두 오픈소스로 제공해 연구뿐 아니라 실제 서비스 개발 환경에서도 활용 가능성이 높습니다. 생성형 AI가 이미지에서 비디오, 그리고 월드 모델로 확장되는 흐름 속에서 SANA는 효율성과 확장성을 모두 갖춘 오픈소스 프레임워크로 주목할 만한 프로젝트입니다.

300x250

https://github.com/NVlabs/Sana?fbclid=IwY2xjawTX4FRleHRuA2FlbQIxMABicmlkETE5OTdHa25SdmhNWUszdzlrc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHgQeYLxJwHAFxv9PTx9JcH2N7lHjTVuV7_uEm8UoT06JxdB1faSc__7AlqwE_aem_Xqy6dTPdrj0WiX9szZILqw

GitHub - NVlabs/Sana: SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer