Apache Fory™ Rust: 차세대 직렬화 프레임워크의 탄생

Rust 개발자의 직렬화 딜레마

Rust로 복잡한 백엔드 애플리케이션을 개발하다 보면 한 가지 공통된 난관을 마주하게 된다.
바로 “데이터 직렬화(Serialization)” 문제다.

JSON은 느리다. Protocol Buffers나 Avro는 빠르지만 설정과 관리가 복잡하다.
특히 Rust처럼 순환 참조(circular reference), 트레이트 객체(trait object), 복합 구조체 등 고급 데이터 구조를 다루는 언어에서는 대부분의 직렬화 프레임워크가 이를 제대로 처리하지 못한다.

Apache Fory Rust는 이러한 고민에 대한 해답으로 등장했다.
이 프레임워크는 초고속 성능, 언어 간 호환성, 자동 참조 처리, 스키마 진화 지원을 동시에 제공한다. Rust의 타입 안정성과 제로 카피(zero-copy) 설계를 바탕으로, 성능과 개발자 경험 사이의 타협을 없앤 것이 특징이다.

반응형

---

Apache Fory Rust란 무엇인가?

Apache Fory Rust는 Apache Software Foundation(ASF)의 공식 프로젝트로, 고성능 범용 직렬화 프레임워크이다.
Rust 버전은 성능, 타입 안전성, 그리고 개발자 친화성을 극대화하기 위해 설계되었다.

이 라이브러리는 다음과 같은 문제를 해결하기 위해 만들어졌다.

1. JSON처럼 느린 텍스트 기반 포맷의 성능 한계
2. Protobuf처럼 복잡한 IDL 기반 스키마 관리
3. 언어 간 호환성 부족
4. 순환 참조나 트레이트 객체 등 복잡한 구조 직렬화 문제

Apache Fory Rust는 이러한 제약을 제거하고, **“빠르고 안전하며, 다양한 언어에서 호환 가능한 직렬화”**를 실현한다.

---

주요 특징

1. 다국어 호환성 (Truly Cross-Language)

Apache Fory Rust는 Java, Python, C++, Go 등과 동일한 바이너리 프로토콜을 사용한다.
Rust에서 직렬화한 데이터를 Python에서 그대로 역직렬화할 수 있으며, 별도의 스키마 파일이나 코드 생성이 필요 없다.

let user = User {
    name: "Alice".to_string(),
    age: 30,
    metadata: HashMap::from([("role", "admin")]),
};
let bytes = fory.serialize(&user);

user = fory.deserialize(bytes)  # Rust에서 직렬화된 데이터가 그대로 Python에서 동작

이는 마이크로서비스 환경에서 언어 간 데이터 교환을 훨씬 단순하게 만들어준다.

---

2. 순환 참조 및 공유 참조 자동 처리

기존 직렬화 프레임워크는 순환 참조를 만나면 오류를 발생시키거나 객체를 중복 저장한다.
Apache Fory Rust는 이러한 문제를 자동으로 처리한다.

use std::rc::Rc;
let shared = Rc::new(String::from("shared_value"));
let data = vec![shared.clone(), shared.clone(), shared.clone()];
let bytes = fory.serialize(&data);
let decoded: Vec<Rc<String>> = fory.deserialize(&bytes)?;
assert!(Rc::ptr_eq(&decoded[0], &decoded[1]));

위 코드에서 동일한 참조는 단 한 번만 직렬화된다.
또한 순환 구조를 가진 그래프 데이터에서도 참조 관계를 그대로 복원할 수 있다.

이 기능은 그래프 데이터베이스, ORM, 도메인 모델 등에서 필수적이다.

---

3. 트레이트 객체(Polymorphism) 직렬화 지원

Rust의 트레이트 시스템은 강력하지만, Box<dyn Trait> 같은 트레이트 객체를 직렬화하는 것은 쉽지 않다.
Apache Fory Rust는 이를 매우 간단하게 처리한다.

trait Animal { fn speak(&self) -> String; }

#[derive(ForyObject)]
struct Dog { name: String }

#[derive(ForyObject)]
struct Cat { name: String }

register_trait_type!(Animal, Dog, Cat);

let animals: Vec<Box<dyn Animal>> = vec![
    Box::new(Dog { name: "Rex".to_string() }),
    Box::new(Cat { name: "Mimi".to_string() }),
];

let bytes = fory.serialize(&animals);
let decoded: Vec<Box<dyn Animal>> = fory.deserialize(&bytes)?;
decoded[0].speak();  // "Woof!"
decoded[1].speak();  // "Meow!"

이는 Rust에서 다형성과 플러그인 시스템을 지원하면서도, 효율적인 데이터 직렬화를 가능하게 한다.

---

4. 스키마 진화(Compatible Mode)

서비스 버전이 달라져도 직렬화된 데이터가 깨지지 않는 것이 Apache Fory의 또 다른 강점이다.

#[derive(ForyObject)]
struct User {
    name: String,
    age: i32,
    address: String,
}

#[derive(ForyObject)]
struct User {
    name: String,
    age: i32,
    phone: Option<String>,     // 새 필드
    metadata: HashMap<String, String>,  // 새 필드
}

이처럼 필드가 추가되거나 제거되어도, 이전 버전의 데이터는 그대로 역직렬화된다.
필드 순서나 null 허용 여부가 바뀌어도 자동으로 맞춰지기 때문에,
서비스 간 배포를 중단하지 않고도 데이터 호환성을 유지할 수 있다.

---

기술적 기반

1. 바이너리 프로토콜 구조

Apache Fory Rust는 다음과 같은 고성능 바이너리 포맷을 사용한다.

구성 요소	역할
fory header	메시지 헤더
reference meta	참조 관계 정보
type meta	타입 메타데이터
value data	실제 값

이 구조는 다음과 같은 기술적 혁신을 포함한다.

• 변수 길이 정수(Variable-length integer) 인코딩
• 참조 추적 및 중복 제거
• 메타데이터 압축 (gzip 기반)
• 리틀 엔디언 구조로 CPU 최적화

---

2. 컴파일 타임 코드 생성

Apache Fory는 리플렉션(reflection)을 사용하지 않는다. 대신 컴파일 타임 매크로로 직렬화 코드를 자동 생성한다.

#[derive(ForyObject)]
struct Person {
    name: String,
    age: i32,
}

위 코드는 컴파일 시점에 fory_write_data(), fory_read_data() 등의 함수를 생성하여,
런타임 오버헤드 없이 타입 안전한 직렬화를 구현한다.

이 덕분에 다음과 같은 장점을 얻는다.

• 런타임 오버헤드 없음
• 타입 안정성 확보
• 작은 바이너리 크기
• IDE 자동 완성 및 오류 검출 가능

---

3. 아키텍처 구조

Apache Fory Rust는 세 가지 주요 크레이트로 구성된다.

fory/         # 고수준 API
fory-core/    # 직렬화 엔진
fory-derive/  # 매크로 및 코드 생성

이 모듈식 구조는 유지보수성과 확장성을 모두 보장한다.

---

성능 비교 및 벤치마크 결과

Apache Fory Rust는 실제 환경에서 JSON, Protobuf 대비 최대 10배 이상의 성능을 보여준다.

데이터 타입	크기	Fory TPS	JSON TPS	Protobuf TPS	최고 속도
simple_struct	small	35,729,598	10,167,045	8,633,342	Fory
company	medium	412,507	33,835	37,590	Fory
ecommerce_data	large	3,727	266	295	Fory
simple_list	medium	4,770,765	401,558	397,551	Fory

대부분의 테스트에서 Fory가 압도적으로 빠르며, 특히 대형 데이터 구조 직렬화 시 효율이 뛰어나다.

---

언제 Apache Fory Rust를 사용해야 하는가

적합한 경우

• 다국어 마이크로서비스 간 데이터 교환이 필요한 경우
• 초고속 데이터 파이프라인이나 실시간 분석 시스템 구축 시
• 순환 참조, 다형성, 복잡한 객체 그래프를 다루는 도메인 모델에서
• 지연 시간(latency)을 최소화해야 하는 실시간 시스템에서

피해야 하는 경우

• 사람이 읽기 쉬운 데이터 형식이 필요한 경우(JSON, YAML 권장)
• 장기 보관용 데이터 포맷이 필요한 경우(Parquet 권장)
• 단순한 구조의 데이터만 다루는 경우(serde + bincode로 충분)

---

728x90

Apache Fory Rust는 단순히 빠른 직렬화 라이브러리가 아니다.
이는 Rust 생태계에서의 데이터 교환 방식 자체를 재정의하는 기술적 전환점이다.

스키마 없이도 언어 간 데이터가 자연스럽게 오가고, 순환 참조와 다형성까지 완벽히 지원하며,
성능 또한 JSON과 Protobuf를 압도한다.

Rust 개발자에게 Apache Fory는 단순한 툴이 아니라,
“빠르고 안정적이며 언어 간 경계를 허무는 데이터 직렬화의 새로운 표준”이 될 가능성을 보여준다.

https://fory.apache.org/blog/fory_rust_versatile_serialization_framework/?fbclid=IwY2xjawNy8oRleHRuA2FlbQIxMQABHjDUOyQf_qXVXUr8T5trAV1xJOCAIpSz2PTi7Pvq87SPV4BZBKGe44NYQuc9_aem_ObdXtE1KkMejNJ2FadXupQ

Introducing Apache Fory™ Rust: A Versatile Serialization Framework for the Modern Age | Apache Fory™