CPU부터 LPU까지, AI를 움직이는 5가지 하드웨어 아키텍처 정리

이 글은 오늘날 AI를 실제로 구동하는 핵심 하드웨어인 CPU, GPU, TPU, NPU, LPU의 구조적 차이와 역할을 정리한 글입니다. 각 아키텍처가 어떤 설계 철학을 가지고 있고, 유연성·병렬성·메모리 접근 방식 사이에서 어떤 선택을 했는지를 비교하며, 왜 AI 컴퓨팅이 점점 더 특화된 방향으로 진화하고 있는지를 이해할 수 있도록 설명합니다.

반응형

---

AI 연산의 출발점, CPU

범용 컴퓨팅을 위한 설계

CPU는 가장 오래되고 기본적인 컴퓨팅 아키텍처입니다. 소수의 강력한 코어가 복잡한 로직 처리, 조건 분기, 시스템 제어를 담당하도록 설계되었습니다.

구조적 특징

• 깊은 캐시 계층 구조
• 오프칩 메인 메모리(DRAM) 사용
• 하드웨어 스케줄링 중심 실행

강점과 한계

운영체제, 데이터베이스, 의사결정 로직처럼 복잡하지만 반복성이 낮은 작업에 매우 적합합니다. 반면, 행렬 곱셈과 같은 반복적 수치 연산에는 효율이 떨어집니다. 이 한계가 AI 전용 가속기의 등장을 촉진했습니다.

---

병렬 연산의 핵심, GPU

수천 개 코어의 집단 처리

GPU는 소수의 강력한 코어 대신 수천 개의 작은 코어가 동일한 명령을 서로 다른 데이터에 동시에 수행하는 구조입니다.

AI와 GPU의 궁합

신경망 학습은 대규모 행렬 연산이 반복되는 구조이기 때문에 GPU의 대규모 병렬 처리 방식과 매우 잘 맞습니다. 이 때문에 GPU는 AI 학습 영역에서 사실상 표준 하드웨어로 자리 잡았습니다.

---

극단적 특화를 선택한 TPU

신경망만을 위한 구조

TPU는 GPU보다 한 단계 더 나아가, 처음부터 신경망 연산만을 위해 설계된 하드웨어입니다. Google이 설계한 TPU는 범용성보다 효율을 선택했습니다.

핵심 구조

• MAC(Multiply-Accumulate) 유닛의 격자 배열
• 웨이브 형태로 흐르는 데이터 경로
• 중간 결과를 메모리에 다시 쓰지 않음

실행 방식의 차이

TPU는 하드웨어가 아닌 컴파일러가 실행 순서를 완전히 제어합니다. 이로 인해 메모리 접근 비용을 최소화하고, 신경망 연산에 최적화된 성능을 제공합니다.

---

엣지 AI를 위한 선택, NPU

저전력 추론에 초점

NPU는 클라우드가 아닌 스마트폰, 웨어러블, IoT 같은 엣지 환경을 위해 설계된 아키텍처입니다.

설계 방향

• MAC 배열 기반 Neural Compute Engine
• 온칩 SRAM 활용
• 고대역폭 메모리(HBM) 대신 저전력 시스템 메모리 사용

대표 사례

Apple의 Neural Engine과 Intel의 NPU는 단일 자릿수 와트 전력으로 AI 추론을 수행하는 것을 목표로 합니다.

---

가장 극단적인 특화, LPU

언어 모델을 위한 새로운 접근

LPU(Language Processing Unit)는 Groq이 제안한 가장 최신의 아키텍처입니다.

구조적 혁신

• 오프칩 메모리를 완전히 제거
• 모든 가중치를 온칩 SRAM에 저장
• 캐시 미스와 런타임 스케줄링 오버헤드 없음

트레이드오프

칩 하나당 메모리가 제한적이기 때문에, 대형 언어 모델을 서비스하려면 수백 개의 칩을 연결해야 합니다. 그러나 지연 시간(latency) 측면에서는 매우 큰 이점을 제공합니다.

---

AI 하드웨어 진화의 흐름

CPU에서 시작된 AI 연산은 GPU를 거쳐 TPU, NPU, 그리고 LPU로 이동해 왔습니다. 이 흐름의 본질은 명확합니다.

• 범용성은 점점 줄어들고
• 연산 효율과 예측 가능성은 극대화되고
• 특정 AI 워크로드에 최적화된 구조가 선택되고 있습니다

CPU가 모든 것을 할 수 있는 유연성을 제공했다면, LPU는 오직 하나의 목적을 위해 모든 것을 희생한 구조라고 볼 수 있습니다.

---

728x90

이번 글에서는 AI를 구동하는 5가지 하드웨어 아키텍처가 각각 어떤 문제를 해결하기 위해 등장했고, 어떤 설계적 선택을 했는지를 살펴봤습니다.

AI 컴퓨팅은 더 이상 하나의 정답이 존재하지 않습니다. 학습, 추론, 클라우드, 엣지, 저지연 서비스 등 목적에 따라 최적의 하드웨어가 달라지는 시대입니다.

앞으로 AI 서비스의 성능과 비용 경쟁력은 모델 자체뿐 아니라, 어떤 하드웨어 아키텍처를 선택하느냐에 따라 크게 좌우될 것입니다. 이러한 흐름을 이해하는 것은 AI 기술을 바라보는 중요한 기준점이 될 것입니다.

300x250