turbovec: 메모리·속도·프라이버시를 모두 잡은 고성능 벡터 검색 엔진

이 글은 대규모 벡터 데이터를 다루는 환경에서 메모리 사용량, 검색 속도, 프라이버시를 동시에 만족시키기 어려웠던 문제를 해결하기 위해 등장한 turbovec이라는 벡터 인덱스 솔루션을 소개합니다.
기존 벡터 검색 방식의 한계를 짚고, turbovec이 어떤 기술적 배경 위에서 더 빠르고 더 효율적인 검색을 가능하게 하는지, 그리고 실제로 어떻게 사용할 수 있는지를 정리합니다.

반응형

---

대규모 벡터 검색의 현실적인 문제

RAG(Retrieval-Augmented Generation)나 추천 시스템처럼 벡터 검색이 핵심이 되는 시스템에서는 다음과 같은 문제가 반복적으로 발생합니다.

• 수천만 개 벡터를 FP32로 저장할 경우 메모리 사용량이 과도하게 증가
• 검색 성능을 높이기 위해 사용한 압축 기법은 학습 단계와 재빌드 비용이 큼
• 필터링 조건이 많을수록 검색 후 불필요한 결과를 버리는 오버헤드 발생
• 클라우드 기반 관리형 서비스 사용 시 데이터 외부 유출에 대한 부담

turbovec은 이러한 문제를 전제로 설계된 로컬 기반 고성능 벡터 인덱스입니다.

---

turbovec 개요

turbovec은 Rust로 구현된 벡터 인덱스이며, Python 바인딩을 함께 제공합니다.
Google Research에서 제안한 TurboQuant 알고리즘을 기반으로 하며, 다음과 같은 특징을 가집니다.

• 1천만 개 문서 벡터를 FP32 기준 31GB → 약 4GB로 압축
• 별도의 학습 단계 없이 온라인으로 벡터 추가 가능
• ARM과 x86 환경 모두에서 FAISS 대비 빠른 검색 성능
• 완전 로컬 실행으로 프라이버시 및 보안 친화적

---

TurboQuant 기반 압축의 핵심 원리

turbovec의 성능은 TurboQuant 알고리즘의 설계에서 나옵니다.

1. 벡터 정규화

벡터의 크기(norm)를 분리해 저장하고, 방향 정보만을 단위 벡터로 유지합니다.

2. 랜덤 회전

모든 벡터에 동일한 직교 행렬을 적용해 회전시킵니다.
이 과정을 거치면 입력 데이터와 무관하게 각 좌표 값의 분포가 예측 가능해집니다.

3. 좌표별 보정(TQ+)

실제 데이터 분포와 이론 분포의 차이를 줄이기 위해, 좌표별로 shift와 scale 값을 1회 계산합니다.
이 보정은 최초 벡터 추가 시 한 번만 수행되며, 이후 재학습이 필요 없습니다.

4. Lloyd-Max 양자화

분포가 알려진 상태이므로, 최적의 버킷 경계를 수학적으로 계산해 2-bit 또는 4-bit 정수로 양자화합니다.

5. 비트 패킹

1536차원 벡터 기준:

• FP32: 6,144 bytes
• 2-bit: 384 bytes
  → 16배 압축

6. 길이 보정 점수 계산

양자화로 인해 발생하는 내적 점수의 편향을 보정하기 위한 스칼라 값을 함께 저장해, 검색 시 정확도를 회복합니다.

---

검색 성능과 메모리 효율

메모리 압축

• 10M 문서 기준
  • FP32: 약 31GB
  • turbovec(4-bit): 약 4GB

검색 속도

• ARM 환경: FAISS FastScan 대비 12~20% 빠름
• x86 환경: 4-bit 기준 FAISS와 동급 또는 최대 6% 우수

검색 정확도(Recall)

• OpenAI 임베딩(d=1536, d=3072) 기준
  • R@1에서 FAISS 대비 0.4~3.4포인트 우수
• 저차원(GloVe d=200) 환경에서도 k 증가 시 FAISS와 수렴

---

필터링을 고려한 하이브리드 검색

turbovec은 검색 단계에서 필터링을 SIMD 커널 내부에서 직접 처리합니다.

• allowlist(허용 ID 목록)를 검색 함수에 전달
• 허용되지 않은 블록은 스코어링 자체를 수행하지 않음
• 결과 개수는 min(k, 허용된 ID 수)로 정확히 반환

이 방식은
“먼저 SQL·BM25·ACL 등으로 후보를 좁히고, 그 결과를 벡터로 재정렬”하는
하이브리드 검색 구조에 매우 적합합니다.

---

Python에서의 기본 사용 예제

from turbovec import TurboQuantIndex

index = TurboQuantIndex(dim=1536, bit_width=4)
index.add(vectors)
index.add(more_vectors)

scores, indices = index.search(query, k=10)

index.write("my_index.tq")
loaded = TurboQuantIndex.load("my_index.tq")

안정적인 외부 ID가 필요한 경우

import numpy as np
from turbovec import IdMapIndex

index = IdMapIndex(dim=1536, bit_width=4)
index.add_with_ids(vectors, np.array([1001, 1002, 1003], dtype=np.uint64))

scores, ids = index.search(query, k=10)
index.remove(1002)

---

프레임워크 통합 지원

turbovec은 기존 파이프라인을 거의 수정하지 않고 교체할 수 있도록, 주요 프레임워크용 어댑터를 제공합니다.

• LangChain
• LlamaIndex
• Haystack
• Agno

모두 기존 In-Memory 벡터 스토어를 대체하는 형태로 동작하며, 퍼시스턴스와 API 표면은 동일하게 유지됩니다.

---

728x90

turbovec은 다음과 같은 환경에서 특히 강점을 가집니다.

• 벡터 수가 많아 메모리 비용이 부담되는 경우
• 실시간으로 데이터가 추가되는 온라인 인덱싱 환경
• 필터링 조건이 많은 하이브리드 검색 구조
• 데이터 외부 전송이 불가능한 보안·프라이버시 중심 시스템

별도의 학습 단계 없이도 높은 압축률과 빠른 검색 성능을 제공한다는 점에서,
turbovec은 차세대 로컬 벡터 검색 엔진의 기준점이 될 가능성이 큽니다.
특히 프라이버시, 지연 시간, 인프라 비용이 중요한 RAG 시스템을 구축하고 있다면, 충분히 검토할 만한 선택지입니다.

300x250

https://github.com/RyanCodrai/turbovec

GitHub - RyanCodrai/turbovec: A vector index built on TurboQuant, written in Rust with Python bindings