LLM앱 오픈소스 Observability, Laminar를 소개합니다

요즘 ChatGPT, Bard와 같은 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발이 뜨거운 관심을 받고 있습니다. 하지만 LLM 앱의 복잡한 파이프라인을 안정적으로 운영하고, 데이터를 추적하며, 분석 가능한 상태로 유지하는 것은 여전히 어려운 과제입니다. 이에 대한 해결책으로 등장한 것이 바로 Laminar입니다. Laminar는 LLM 앱을 위한 오픈소스 관찰 및 분석 플랫폼으로, DataDog과 PostHog를 결합한 형태의 혁신적인 도구입니다.

반응형

---

Laminar란 무엇인가요?

Laminar는 LLM 앱의 데이터를 추적(Trace), 평가(Evaluate), 라벨링(Label), 분석(Analyze)하는 데 특화된 플랫폼입니다. Rust 기반으로 구축되었으며, 다음과 같은 스택을 활용합니다:

• RabbitMQ: 메시지 큐
• Postgres: 스토리지
• Clickhouse: 분석
• Qdrant: 시맨틱 검색

이 스택을 기반으로 Laminar는 빠르고 안정적이며 확장 가능한 서비스를 제공합니다.

Laminar의 주요 특징

1. 전체 실행 추적(Execution Trace) 지원

Laminar는 단순히 LLM 호출만 추적하는 데 그치지 않고, 전체 실행 과정을 추적하는 데 중점을 둡니다. 이를 통해 복잡한 LLM 파이프라인의 모든 단계를 명확히 이해할 수 있습니다.

2. OpenTelemetry 기반 계측

Laminar는 **OpenTelemetry(Otel)**를 기반으로 계측을 제공합니다. 단 2줄의 코드와 데코레이터를 사용하여 다음과 같은 작업을 자동화할 수 있습니다:

• LLM 호출
• 벡터 DB 호출
• 함수 실행 추적

특히, GenAI 시맨틱 규칙을 적용해 OpenTelemetry span을 위한 Rust 수집기를 개발함으로써 보다 정교한 계측을 가능하게 합니다.

3. 시맨틱 이벤트 기반 분석

Laminar는 "시맨틱 메트릭"을 추적하는 독창적인 접근 방식을 도입했습니다. 이는 LLM 에이전트가 실제로 생성한 콘텐츠를 기반으로 메트릭을 제공하며, 해당 메트릭이 추적 내에서 발생한 위치와 연결됩니다.

4. Pipeline Builder

Laminar는 사용자가 그래프 UI를 통해 LLM 및 유틸리티 함수를 노드로 표현하고, 데이터 흐름을 에지로 나타낼 수 있는 파이프라인 빌더를 제공합니다. 이 빌더는 다음 기능을 지원합니다:

• 병렬 브랜치 실행
• 사이클 및 브랜치 생성
• 사용자 정의 작업 실행 엔진

특히, 구축된 파이프라인은 API 엔드포인트로 직접 호출 가능하며, 네트워크 오버헤드를 최소화합니다.

5. 추적 검색 기능

각 span은 벡터 DB에 색인화되며, 하이브리드 검색을 통해 원하는 정보를 빠르게 찾을 수 있습니다. 이 기능은 현재 베타 버전이지만 향후 플랫폼의 핵심 요소로 자리 잡을 예정입니다.

6. 평가 기능

Laminar는 Braintrust와 Weights & Biases의 접근 방식을 따릅니다. 즉, 모든 것을 로컬에서 실행하고, 결과만 서버로 전송하는 방식입니다. 간단한 SDK와 직관적인 대시보드를 통해 모든 평가 데이터를 효과적으로 관리할 수 있습니다. 현재 초기 단계이지만 적극적으로 개발 중입니다.

Laminar의 목표

Laminar는 LLM/GenAI 앱의 모든 것을 포괄하는 표준 오픈 소스 플랫폼으로 자리 잡는 것을 목표로 하고 있습니다. 쉽게 말해, LLMOps를 위한 "Supabase"가 되는 것입니다.

Laminar를 사용해야 하는 이유

1. 안정성과 확장성: 빠르고 안정적인 Rust 기반 스택을 활용하여 확장 가능한 앱을 구축할 수 있습니다.
2. 효율적인 데이터 관리: 실행 추적, 메트릭 관리, 검색 및 평가 기능을 통해 데이터를 효과적으로 관리할 수 있습니다.
3. 오픈 소스 생태계: Laminar는 오픈 소스 프로젝트로, 누구나 참여하고 커스터마이징할 수 있습니다.

728x90

---

결론

LLM 앱 개발은 이제 Laminar와 함께 새로운 차원으로 나아가고 있습니다. Laminar는 복잡한 파이프라인을 간단하게 관리하고, 강력한 분석 기능을 제공하며, 개발자와 운영자 모두에게 필수적인 도구로 자리 잡을 것입니다.

지금 Laminar를 사용해 보세요. 여러분의 LLM 앱 개발이 얼마나 더 쉬워질 수 있는지 직접 경험해 보세요!

https://github.com/lmnr-ai/lmnr

GitHub - lmnr-ai/lmnr: Laminar - open-source all-in-one platform for engineering AI products. Crate data flywheel for you AI app