LLM 아키텍처가 점점 복잡해지는 이유와 그 의미

이 글은 최근 대규모 언어 모델(LLM)이 왜 점점 더 복잡해지고 있는지, 그 배경에는 어떤 기술적·현실적 이유가 있는지를 정리한 글입니다. 과거의 단순한 Transformer 기반 모델에서 벗어나, 오늘날의 LLM이 다양한 Attention 변형과 Mixture-of-Experts, 멀티모달 구성, 분산 추론 구조를 갖게 된 이유를 설명하고, 추천 시스템(recsys)의 역사와 비교하며 “조합 가능성(composability)”이라는 핵심 키워드가 왜 중요한지를 다룹니다.

반응형

---

단순했던 LLM 아키텍처의 출발점

2022~2023년 무렵, Meta 내부에서는 두 개의 큰 머신러닝 흐름이 공존하고 있었습니다. 하나는 Llama로 이어진 LLM 연구였고, 다른 하나는 추천 시스템 그래프였습니다.

LLM 쪽은 반복되는 Transformer 모듈로 구성된 비교적 깔끔한 구조였습니다. 반면 추천 시스템은 이미 오래전부터 복잡성이 극단적으로 누적된 영역이었습니다. 흥미로운 점은, 시간이 흐르면서 LLM 역시 추천 시스템과 비슷한 방향으로 “복잡해지고 있다”는 점입니다.

---

현대 LLM은 왜 이렇게 복잡해졌을까

오늘날의 LLM은 “Attention is all you need”라는 말로는 설명하기 어렵습니다. Attention 자체만 해도 다양한 변형이 사용됩니다.

• Query grouping
• Compressed / Sparse / Linear attention
• Sliding-window attention

여기에 더해 Mixture-of-Experts(MoE)는 Feed-forward 레이어에 선택적 라우팅을 도입했고, 이제는 Attention 블록, Residual stream 등 모델의 거의 모든 부분에 라우팅 개념이 확장되고 있습니다.

또한 비전과 오디오 인코더는 더 이상 “외부에서 붙이는 모듈”이 아니라, 모델 내부에 자연스럽게 섞여 들어가는 구조로 발전했습니다. 여기에 멀티 GPU 환경에서의 추론을 고려하면, 통신 연산(comms ops)까지 모델 중간중간에 끼어들게 됩니다.

이 모든 요소가 합쳐지며 LLM은 점점 더 복합적인 시스템이 되었습니다.

---

추천 시스템과의 닮은점: 성능은 선택이 아닌 필수

이 흐름은 추천 시스템의 역사와 매우 닮아 있습니다. 추천 시스템은 오랫동안 “두 개의 타워로 구성된 비교적 단순한 신경망”을 기본 구조로 유지해왔지만, 실제 복잡성은 성능과 효율 사이의 긴장에서 발생했습니다.

핵심은 이것입니다.

• 성능 최적화가 “있으면 좋은 것”에서
• “없으면 시스템이 돌아가지 않는 것”으로 바뀌는 순간

LLM 역시 같은 지점에 도달하고 있습니다. 개념적으로는 순수한 모델 정의를 기준선(baseline)으로 둘 수 있지만, 실제로는 학습과 실험 비용이 너무 커서 성능 개선 자체가 모델 설계의 일부가 됩니다.

---

실험의 자유를 가로막는 현실적인 장벽

예를 들어, Attention 변형 A를 B로 바꿔 실험하고 싶다고 가정해보겠습니다.

• B가 10% 느린 정도라면 실험할 수 있습니다.
• 하지만 10배 느리다면, 그 실험은 시작조차 할 수 없습니다.

문제는 A가 이미 강하게 fuse되고 최적화된 커널이라면, B 역시 최소한 “부분적으로라도” 최적화된 상태여야 비교 자체가 가능하다는 점입니다. 연구 반복 루프는 단순한 “이미 알려진 것을 최적화”하는 유연성이 아니라, 탐색을 가능하게 하는 유연성을 요구합니다.

수작업으로 커널을 다시 짜는 것은 비용이 너무 크고, 자동 생성에만 의존하기에는 검증 기준이 없습니다. 그래서 등장하는 해법이 바로 처음부터 조합 가능성을 염두에 둔 설계입니다.

---

조합 가능성을 위한 해법: FlexAttention

이 관점에서 주목할 만한 사례가 PyTorch의 FlexAttention입니다. FlexAttention은 Attention 연산의 한 “계열”을 정의하고, Triton 템플릿을 통해 해당 연산에 맞는 커널을 생성할 수 있도록 설계되었습니다.

이 접근 방식의 핵심은 다음과 같습니다.

• 기존 Attention 커널 연구의 성과를 기반으로 함
• 처음부터 조합 가능하고 검증 가능한 구조로 설계
• 성능 손실을 최소화한 상태에서 다양한 실험 가능

즉, 연구자가 새로운 Attention 변형을 시도하더라도, 성능 때문에 탐색 자체를 포기하지 않도록 설계된 구조입니다.

---

에이전트만으로는 충분하지 않은 이유

최근 Andrej Karpathy가 Anthropic에 합류하며 자동화된 연구 루프, 이른바 에이전트 기반 연구에 대한 기대가 커지고 있습니다. 하지만 이 글은 분명한 메시지를 던집니다.

아무리 똑똑한 에이전트가 있어도,
아키텍처 자체가 본질적으로 단순화되고 조합 가능하지 않다면
그 에이전트는 제대로 작동할 수 없습니다.

복잡한 시스템을 “본질로 잘라내고”, 다시 조합 가능한 형태로 만드는 능력은 자동화만큼이나 중요한 역량입니다.

---

728x90

이 글이 전달하는 핵심은 명확합니다.

• LLM은 이미 추천 시스템이 겪었던 복잡성의 길로 들어섰다
• 성능은 더 이상 선택이 아니라 실험을 가능하게 하는 전제 조건이다
• 단순한 기준선 모델만으로는 연구 반복 루프를 유지할 수 없다
• 해법은 자동화 이전에, 조합 가능성을 고려한 설계다

앞으로의 LLM 연구와 시스템 설계에서는 “얼마나 똑똑한 모델인가”만큼이나, “얼마나 유연하게 실험할 수 있는 구조인가”가 중요한 경쟁력이 될 것입니다. 이는 연구 속도를 결정짓는 요소이자, 차세대 모델 발전의 기반이 될 것입니다.

300x250

https://ianbarber.blog/2026/06/19/llms-are-complicated-now/

LLMs are complicated now