Arch: LLM 기반 에이전트 개발의 숨은 인프라 혁신 - 스마트 엣지와 LLM 프록시 서버의 진화, Arch로 본 차세대 AI 애플리케이션 인프라

 

프로토타입 이후 멈춰버리는 LLM 앱의 현실

많은 개발자들이 대화형 AI나 에이전트 앱을 빠르게 프로토타이핑합니다. 그러나 문제는 그다음입니다.
프로토타입은 잘 작동하지만, 실제 서비스로 확장하려는 순간부터 복잡한 라우팅, 보안 설정, 모델 교체, 관찰성(Observability) 구축 등 ‘인프라 문제’에 부딪힙니다.

새로운 모델을 도입할 때마다 코드를 수정해야 하고, 정책을 변경할 때마다 모든 에이전트를 리팩터링해야 합니다. 이 모든 과정은 혁신의 속도를 늦추고 개발팀의 생산성을 떨어뜨립니다.

이때 등장한 것이 Arch, 스마트 엣지(Edge)와 LLM 프록시 서버를 결합한 새로운 형태의 인프라 솔루션입니다. Arch는 복잡한 저수준 코드를 대신 처리하며, 개발자가 오직 핵심적인 에이전트 설계에 집중할 수 있도록 돕습니다.

반응형

---

Arch란 무엇인가?

Arch는 LLM(대규모 언어 모델) 기반 애플리케이션 개발을 단순화하는 스마트 에지 및 LLM 프록시 서버입니다.
한마디로 말해, Arch는 에이전트 애플리케이션을 위한 지능형 인프라 레이어입니다.

Arch는 Envoy Proxy의 기여자들이 개발했으며, 언어와 프레임워크에 구애받지 않는 통합형 구조를 제공합니다.
이를 통해 LLM 애플리케이션 개발에서 필연적으로 발생하는 다음과 같은 문제를 해결합니다.

• 모델 라우팅과 오케스트레이션 관리
• 다양한 LLM 및 API 통합
• 보안 정책(Guardrails) 설정
• 로깅 및 트레이싱 등 관찰성 확보
• 버전 관리와 업데이트에 따른 유지보수 문제

Arch는 이러한 기능들을 중앙 프록시 레이어에서 처리함으로써, 각 에이전트 코드의 복잡도를 획기적으로 줄입니다.

---

왜 Arch가 필요한가

기존 LLM 기반 애플리케이션 개발은 빠른 실험이 가능하지만, 구조적으로 취약합니다. Arch는 이러한 취약점을 해결하기 위해 설계되었습니다.

1. 라우팅 및 오케스트레이션의 복잡성

기존 시스템에서는 라우팅 로직이 코드 내부에 깊게 박혀 있습니다. 정책을 수정하려면 모든 에이전트를 재배포해야 하며, 이는 시간과 비용을 크게 소모합니다.
Arch는 중앙 라우팅 설정을 통해 정책 변경을 즉시 반영할 수 있게 해줍니다.

2. 모델 통합의 어려움

다른 프레임워크들은 모델이 코드 레벨에 결합되어 있어 새로운 모델을 추가하거나 교체할 때 코드 전체를 수정해야 합니다.
Arch는 모델 추상화 계층을 제공하여, LLM 교체나 버전 변경 시에도 코드 수정 없이 설정 변경만으로 대응할 수 있습니다.

3. 관찰성과 거버넌스 부족

로깅, 트레이싱, 보안 정책은 프레임워크 내부에 종속되어 있어 확장이 어렵습니다.
Arch는 W3C 표준을 준수한 요청 추적 및 메트릭 수집 기능을 내장하고 있어, 기존 모니터링 도구와 쉽게 연동할 수 있습니다.

4. 업그레이드의 불안정성

새로운 모델이나 Guardrail을 추가할 때마다 애플리케이션 전체를 재배포하는 것은 비효율적입니다.
Arch는 중앙 프록시 구조를 통해 한 번의 업그레이드로 전체 환경에 일관된 변경을 적용할 수 있습니다.

---

Arch의 핵심 기능

Arch는 단순한 LLM 게이트웨이가 아니라, 지능형 인프라로서 여러 핵심 기능을 제공합니다.

1. Route to Agents

Arch는 100ms 미만의 속도로 프롬프트를 적절한 에이전트로 라우팅합니다. 각 요청은 의도 분석을 거쳐 가장 적합한 LLM 또는 에이전트로 전달되며, 이 과정을 완전히 자동화할 수 있습니다.

2. Route to LLMs

하나의 통합된 인터페이스를 통해 여러 LLM을 동시에 다룰 수 있습니다.
Arch는 세 가지 라우팅 전략을 지원하며, 사용자는 목적에 맞게 최적의 모델을 선택하거나 자동 라우팅을 설정할 수 있습니다.

3. Guardrails

보안과 정책 관리를 중앙에서 수행합니다.
예를 들어, 사용자의 민감한 정보가 외부로 유출되지 않도록 필터링하거나, 특정 입력 유형을 차단하는 등의 정책을 설정할 수 있습니다.

4. Observability

Arch는 요청 추적과 성능 메트릭을 W3C 표준 포맷으로 제공합니다.
이를 통해 Prometheus, Grafana 같은 모니터링 도구와 즉시 연동이 가능하며, 에이전트 동작 상태를 실시간으로 파악할 수 있습니다.

5. Tool Integration

LLM 입력이 모호하거나 불완전할 때, Arch는 이를 자동으로 해석하고 적절한 API 호출로 변환합니다.
즉, 에이전트가 사용자의 요청을 명확히 이해하지 못할 때도 Arch가 중간에서 이를 보완해주는 역할을 합니다.

6. Envoy 기반 구조

Arch는 Envoy Proxy 위에서 동작하며, HTTP 관리 및 확장성 측면에서 이미 검증된 인프라를 그대로 활용합니다.
이 덕분에 대규모 트래픽에도 안정적인 성능을 유지하며, 클라우드나 온프레미스 환경 모두에서 쉽게 배포할 수 있습니다.

---

Arch의 사용 예시

Arch는 개발자가 직접 복잡한 네트워크 설정을 관리하지 않아도 LLM 라우팅을 구성할 수 있도록 합니다.

예를 들어, 다음과 같은 상황을 가정해볼 수 있습니다.

• Claude Code 2.0과 GPT-4를 동시에 사용하고 싶다.
• 코드 관련 질문은 Claude Code로, 일반 대화형 요청은 GPT-4로 자동 라우팅하고 싶다.

Arch의 설정 파일에서 단순히 다음과 같이 정의하면 됩니다.

routing:
  - match: "code"
    target: "claude-code-2.0"
  - match: "general"
    target: "gpt-4"

이 설정을 통해 Arch는 프롬프트를 분석하고 자동으로 적절한 모델로 전달합니다.
개발자는 라우팅 로직을 코드 내부에 작성할 필요가 없으며, 설정 파일만 수정하면 즉시 정책을 변경할 수 있습니다.

---

728x90

Arch는 단순히 LLM을 연결하는 미들웨어가 아니라, 지능형 에이전트 인프라의 핵심 구성 요소입니다.
AI 애플리케이션 개발에서 반복적으로 발생하는 복잡한 인프라 문제를 중앙 프록시에서 해결함으로써, 개발자는 더 빠르고 안전하게 제품을 발전시킬 수 있습니다.

앞으로 에이전트 중심의 애플리케이션이 늘어날수록, 안정적이고 유연한 인프라 레이어의 중요성은 더욱 커질 것입니다.
Arch는 이러한 시대의 요구에 부합하는 솔루션으로, 속도·안정성·확장성의 세 가지 핵심 가치를 동시에 제공합니다.

Arch를 통해 개발자는 더 이상 인프라의 복잡성에 발목 잡히지 않고, 진정한 혁신에 집중할 수 있는 환경을 갖출 수 있습니다.

https://github.com/katanemo/archgw?fbclid=IwY2xjawNegTdleHRuA2FlbQIxMQABHtcmurRwR-xXRtkhKE_QXi6eyzTVTqOi6PVFv19WcJ-CTweqXkjm_TiSaTiI_aem_t03TOQhtiFFckHC5JKBz_Q

GitHub - katanemo/archgw: The data plane for agents. Arch is a models-native proxy server that handles the plumbing work in AI: