Coral NPU: 초저전력 엣지 AI를 위한 오픈소스 RISC-V 기반 머신러닝 가속기

이 글은 엣지 디바이스 환경에서 AI 연산을 보다 효율적으로 수행하기 위해 설계된 Coral NPU의 개념과 등장 배경, 기술적 특징, 그리고 활용 가능성을 정리한 기술 블로그입니다.
Coral NPU가 해결하려는 문제는 무엇인지, 기존 엣지 AI 구조와 어떤 차별점을 가지는지, 그리고 어떤 디바이스와 서비스에 적합한지까지 단계적으로 살펴봅니다.

반응형

---

Coral NPU란 무엇인가

Coral NPU는 엣지 환경에서의 에너지 효율적인 AI 연산을 목표로 설계된 머신러닝 가속 코어입니다.
RISC-V ISA를 기반으로 한 검증된 오픈소스 IP 형태로 제공되며, 상용 실리콘 통합이 가능하도록 설계되었습니다.

이 프로젝트는 Google Research에서 진행된 Coral.ai 연구를 기반으로 하며, 2023년 Open Se Cura 연구 프로젝트의 구성 요소로 처음 공개된 이후, 엣지 AI 생태계를 위한 표준 아키텍처를 지향하는 독립적인 이니셔티브로 발전하고 있습니다.

---

Coral NPU가 해결하는 문제

현재 엣지 AI 디바이스 생태계는 심각한 파편화(fragmentation) 문제를 안고 있습니다.

• CPU와 ML 가속기(NPU)가 서로 다른 프로그래밍 모델을 사용
• ML 가속기는 종종 전용 컴파일러와 폐쇄적인 툴체인에 의존
• 개발자는 여러 개의 불투명한 도구를 동시에 관리해야 함

이러한 구조는 개발 복잡도를 높이고, 각 연산 유닛의 장점을 유기적으로 결합하기 어렵게 만듭니다.

Coral NPU는 이러한 문제를 해결하기 위해 RISC-V ISA 위에 텐서 연산을 네이티브하게 통합하고, C 기반 개발 환경을 확장하는 방식으로 접근합니다.
이를 통해 CPU와 NPU를 분리된 블록이 아닌 단일 아키텍처 관점에서 다룰 수 있도록 설계되었습니다.

---

아키텍처 설계 철학과 핵심 차별점

ML-First 아키텍처

기존 프로세서는 스칼라 → 벡터(SIMD) → 매트릭스 순으로 기능을 확장해 왔습니다.
Coral NPU는 이 흐름을 반대로 뒤집어 매트릭스(ML) 연산을 중심에 두고, 그 위에 벡터와 스칼라 기능을 통합합니다.
이로 인해 AI 워크로드에 최적화된 구조를 처음부터 일관되게 설계할 수 있습니다.

전용 ML 엔진

Coral NPU의 중심에는 양자화된 외적 기반 MAC(Multiply-Accumulate) 엔진이 위치합니다.
8비트 연산을 32비트 결과로 처리하도록 설계되어, 신경망 연산에 필요한 핵심 계산을 매우 높은 효율로 수행합니다.

RISC-V Vector(SIMD) 코어 통합

RISC-V Vector Instruction Set(RVV) v1.0을 구현한 벡터 코어를 포함하며,
64 × 256비트 벡터 레지스터 파일과 strip-mining 방식의 실행 모델을 통해 단일 명령으로 다수의 연산을 처리합니다.

단순한 C-프로그래머블 스칼라 코어

경량 RISC-V(RV32IM) 스칼라 코어는 복잡한 운영체제나 잦은 인터럽트 없이 동작하는 run-to-completion 모델을 채택합니다.
이는 전력 소모를 최소화하면서도 전체 연산 흐름을 제어하는 데 최적화된 구조입니다.

효율적인 메모리 구조

• 명령 캐시: 8KB
• 데이터 캐시: 16KB

단일 계층의 소형 캐시 구조를 사용해 데이터 이동을 최소화하고, 지연 시간과 전력 소모를 동시에 줄입니다.

통합된 개발자 경험

Coral NPU는 C 언어 기반으로 프로그래밍 가능하며,
MLIR 기반 툴체인을 통해 TensorFlow, JAX, PyTorch 모델을 공통 인프라에서 지원합니다.
LiteRT Micro, IREE와 같은 현대적인 ML 컴파일러와의 통합을 전제로 설계된 점이 큰 특징입니다.

---

성능 및 전력 효율 특성

Coral NPU는 성능, 전력, 면적 간의 균형을 핵심 목표로 합니다.

• 목표 성능: 512 GOP/S
• 연산 구조: 사이클당 256 MAC
• 전력 목표: 1GHz 기준 약 6mW (22nm 공정)

이러한 특성 덕분에 항상 동작하는(always-on) 엣지 AI 시나리오에 적합합니다.

---

주요 활용 시나리오

컨텍스트 인식

사용자의 이동 상태, 환경 변화, 위치 맥락을 인식해
방해 금지 모드, 자동 설정 변경 등 상황 인지형 기능을 구현할 수 있습니다.

오디오 처리

음성 감지, 키워드 스폿팅, 실시간 번역, 전사, 접근성 기능 등
저전력 음성 AI에 적합합니다.

이미지 처리

사람 및 객체 인식, 얼굴 인식, 제스처 인식, 저전력 비주얼 검색 등
카메라 기반 AI 기능을 효율적으로 지원합니다.

사용자 인터랙션

손동작, 음성, 센서 기반 입력을 활용한 직관적인 사용자 인터페이스 구현이 가능합니다.

---

적용에 적합한 디바이스 유형

Coral NPU는 초저전력 특성 덕분에 다음과 같은 하드웨어에 적합합니다.

• 무선 이어버드 및 히어러블 디바이스
• 스마트 글래스 및 AR 헤드셋
• 스마트워치 및 피트니스 트래커
• 스마트 홈 및 앰비언트 IoT 기기
• 모바일 기기의 초저전력 보조 프로세서
• 차량용 및 인비클 시스템

---

로드맵 개요

초기 릴리스에는 RISC-V 호환 스칼라 코어와 벡터 실행 유닛이 포함되어 있습니다.
향후에는 RISC-V 매트릭스 실행 유닛이 추가되어,
완전한 엔드투엔드 오픈소스 RISC-V NPU 스택으로 확장될 예정입니다.

---

728x90

Coral NPU는 엣지 AI의 고질적인 복잡성과 파편화를 해결하기 위해
오픈소스, RISC-V, ML-퍼스트 아키텍처라는 명확한 방향성을 제시합니다.

초저전력 환경에서도 의미 있는 AI 연산을 가능하게 함으로써,
웨어러블과 앰비언트 컴퓨팅 시대의 항상 켜져 있는 AI 경험을 현실적인 수준으로 끌어내릴 수 있는 기반을 제공합니다.

앞으로 Coral NPU가 표준화된 엣지 AI 아키텍처로 자리 잡을 수 있을지,
그리고 개발자 경험과 생태계 확장 측면에서 어떤 변화를 만들어낼지 주목할 필요가 있습니다.

300x250

https://github.com/google-coral/coralnpu

GitHub - google-coral/coralnpu: A machine learning accelerator core designed for energy-efficient AI at the edge.