OpenAI와 Broadcom이 공개한 LLM 추론 전용 칩 ‘Jalapeño’ 기술 정리

이 글은 **OpenAI와 Broadcom이 공동으로 공개한 LLM 추론 전용 가속기 ‘Jalapeño’**에 대해 정리한 기술 블로그입니다.
왜 OpenAI가 직접 칩을 설계했는지, 이 칩이 기존 AI 가속기와 무엇이 다른지, 그리고 이 시도가 AI 인프라와 서비스에 어떤 변화를 가져올지에 초점을 맞춰 설명합니다. LLM 추론(inference)의 본질적인 요구사항과 이를 해결하기 위한 아키텍처적 접근을 중심으로 살펴봅니다.

반응형

---

LLM 추론 전용 칩이 필요한 이유

대규모 언어 모델(LLM)은 학습(training)만큼이나 추론(inference) 단계에서 막대한 연산 자원과 전력을 요구합니다.
특히 ChatGPT, Codex, API 서비스처럼 실시간 응답이 중요한 서비스에서는 다음과 같은 요구가 동시에 존재합니다.

• 낮은 지연 시간(latency)
• 높은 처리량(throughput)
• 전력 대비 성능(performance per watt) 최적화
• 대규모 데이터센터 확장성

기존 GPU나 범용 AI 가속기는 학습과 추론을 모두 고려한 구조이기 때문에, LLM 추론에 완전히 최적화되어 있다고 보기는 어렵습니다.
Jalapeño는 이 지점에서 출발한, “추론만을 위해 처음부터 다시 설계된” 가속기입니다.

---

Jalapeño의 핵심 개념과 설계 방향

LLM 추론을 기준으로 한 백지 설계

Jalapeño는 기존 아키텍처를 변형한 것이 아니라, LLM 추론 워크로드를 기준으로 처음부터 설계된 ASIC입니다.
OpenAI가 실제로 운영 중인 ChatGPT, Codex, API, 향후 에이전트형 제품에서 사용하는 커널, 서빙 패턴, 메모리 접근 방식이 설계에 직접 반영됐습니다.

핵심 설계 방향은 다음과 같습니다.

• 불필요한 데이터 이동 최소화
• 연산, 메모리, 네트워크 자원의 균형
• 이론적 최대 성능에 근접한 실제 활용률 달성

---

성능 효율: 전력 대비 성능의 개선

초기 테스트 결과에 따르면 Jalapeño는 현존하는 최고 수준의 AI 가속기 대비 전력 대비 성능이 크게 향상된 것으로 나타났습니다.
아직 최종 수치는 공개되지 않았지만, 다음과 같은 점이 강조됩니다.

• 목표 주파수와 전력 조건에서 안정적으로 ML 워크로드 실행
• GPT-5.3-Codex-Spark를 포함한 실제 LLM 추론 테스트 수행
• 이론 성능 대비 실제 활용률(realized utilization) 개선

이는 곧 같은 전력으로 더 많은 추론 요청을 처리하거나, 같은 성능을 더 적은 비용으로 제공할 수 있음을 의미합니다.

---

9개월 만의 테이프아웃, 무엇이 달랐나

Jalapeño는 설계부터 제조 테이프아웃까지 단 9개월 만에 완성됐습니다.
이는 고성능 반도체 분야에서 매우 이례적인 속도입니다.

이 속도를 가능하게 한 요인은 다음과 같습니다.

• OpenAI와 Broadcom의 긴밀한 소프트웨어·하드웨어 공동 개발
• OpenAI 모델을 활용한 설계 및 최적화 과정 가속
• 실제 운영 중인 워크로드 기반 설계 검증

특히 AI가 AI 칩 설계를 가속하는 구조는, 장기적으로 컴퓨팅 비용을 낮추고 AI 접근성을 높이는 중요한 신호로 해석할 수 있습니다.

---

멀티 세대 플랫폼 전략과 데이터센터 확장

Jalapeño는 단일 제품이 아니라 멀티 세대 컴퓨팅 플랫폼의 첫 번째 단계입니다.
이 플랫폼은 다음과 같은 방향으로 확장됩니다.

• OpenAI가 설계한 추론 가속기
• Broadcom의 실리콘 구현 및 고성능 네트워킹 기술
• 보드, 랙, 시스템 단위까지 고려한 데이터센터 통합

2026년부터는 기가와트(GW) 규모 데이터센터 배포가 예정되어 있으며, 여러 파트너와 함께 장기적인 인프라 확장을 목표로 하고 있습니다.

---

왜 추론 인프라가 중요한가

AI가 사용자에게 가치를 전달하는 지점은 결국 추론 단계입니다.
추론 비용과 성능이 개선되면 다음과 같은 변화가 가능합니다.

• ChatGPT 응답 속도 개선
• Codex의 더 복잡한 작업 수행
• API 사용 비용 절감
• 트래픽 급증 상황에서도 안정적인 서비스 제공

즉, Jalapeño는 단순한 칩이 아니라 AI 서비스를 더 빠르고, 안정적이며, 저렴하게 만드는 기반 기술입니다.

---

728x90

Jalapeño는 OpenAI가 모델과 제품을 넘어 인프라까지 직접 설계하는 풀스택 전략을 본격화했음을 보여주는 사례입니다.

• LLM 추론에 특화된 아키텍처
• 전력 대비 성능 중심의 효율 개선
• AI를 활용한 초고속 칩 개발 사이클
• 멀티 세대, 대규모 데이터센터 확장 전략

이러한 접근은 결과적으로 고급 AI를 더 많은 사람과 조직이 일상적으로 사용할 수 있게 만드는 방향으로 이어집니다.
앞으로 Jalapeño 이후 세대의 가속기가 어떤 성능과 비용 구조를 보여줄지, 그리고 AI 인프라 경쟁 구도가 어떻게 바뀔지 주목할 만한 시점입니다.

300x250

https://openai.com/index/openai-broadcom-jalapeno-inference-chip/

OpenAI and Broadcom unveil LLM-optimized inference chip