LLM 학습의 빈 퍼즐, 시스템 프롬프트 학습(System Prompt Learning)이란 무엇인가

LLM은 정말로 ‘배우고’ 있는 걸까?

이 글은 대규모 언어 모델(LLM)의 학습 방식에서 놓치고 있는 중요한 패러다임에 대한 문제 제기에서 출발합니다.
우리는 보통 LLM의 학습을 두 가지로 설명합니다. 하나는 사전학습(pretraining), 다른 하나는 파인튜닝(finetuning)입니다. 하지만 인간의 학습 방식과 비교해 보면, 이 둘만으로는 설명되지 않는 영역이 분명히 존재합니다.

이 글에서는 기존 학습 방식의 한계를 짚고, ‘시스템 프롬프트 학습(System Prompt Learning)’이라는 새로운 관점이 왜 필요해 보이는지, 그리고 이것이 어떤 가능성을 가지는지 정리합니다. 단순한 아이디어 제안이 아니라, LLM의 문제 해결 능력을 한 단계 끌어올릴 수 있는 학습 패러다임에 대한 논의입니다.

반응형

---

LLM의 기존 학습 방식 정리

사전학습(Pretraining): 지식을 쌓는 단계

사전학습은 대규모 텍스트 데이터를 통해 언어의 구조와 세상의 지식을 익히는 과정입니다.
이 단계의 목적은 명확합니다.

• 언어 이해 능력 확보
• 사실, 개념, 패턴에 대한 광범위한 지식 습득

하지만 사전학습은 “어떻게 문제를 풀 것인가”보다는 “무엇을 알고 있는가”에 초점이 맞춰져 있습니다.

---

파인튜닝(Finetuning): 습관적 행동을 만드는 단계

파인튜닝은 지도학습(SL)이나 강화학습(RL)을 통해 모델의 행동을 조정하는 과정입니다.

• 답변 톤과 스타일 정렬
• 위험한 요청 거절
• 선호되는 응답 패턴 형성

즉, 파인튜닝은 모델의 ‘습관’과 ‘반사적인 행동’을 만드는 데 강점이 있습니다.
하지만 여기에도 한계가 있습니다.

---

인간의 학습과 닮지 않은 지점

사람이 문제를 해결하는 방식을 떠올려 보면, 항상 파라미터가 바뀌는 방식으로 학습하지는 않습니다.

• 문제를 하나 겪고
• 해결 방법을 깨닫고
• “다음에 비슷한 상황이 오면 이렇게 해보자”라고 명시적으로 기억합니다

이는 마치 스스로에게 남기는 메모에 가깝습니다.
즉, 인간 학습에는 다음과 같은 특징이 있습니다.

• 명시적이고 언어적인 지식 축적
• 즉각적인 전략 기록
• 작은 경험에서도 높은 학습 효율

현재의 LLM은 이 영역이 거의 비어 있습니다.

---

시스템 프롬프트 학습이라는 아이디어

시스템 프롬프트는 이미 ‘지식 저장소’다

현대 LLM은 이미 상당히 긴 시스템 프롬프트를 가지고 있습니다.
이 안에는 단순한 말투 지침을 넘어, 일반적인 문제 해결 전략까지 포함되어 있습니다.

예를 들면 다음과 같은 지침입니다.

• 단어 수를 세라는 요청을 받으면 단계별로 직접 세어본 뒤 답하라
• 계산이나 추론이 필요한 문제에서는 중간 과정을 거쳐라

이런 지식은 사실 가중치(weight)에 녹여야 할 습관이라기보다는, 명시적인 문제 해결 규칙에 가깝습니다.

---

왜 이걸 사람이 직접 써야 할까?

현재는 이 시스템 프롬프트를 인간 엔지니어가 직접 작성합니다.
하지만 이런 질문이 자연스럽게 따라옵니다.

• 이런 문제 해결 전략을 사람이 일일이 써야 할까?
• 모델이 스스로 “이건 이렇게 푸는 게 낫다”고 정리할 수는 없을까?

여기서 등장하는 개념이 바로 시스템 프롬프트 학습(System Prompt Learning)입니다.

---

시스템 프롬프트 학습의 핵심 개념

시스템 프롬프트 학습은 기존 학습 방식과 이렇게 다릅니다.

• 가중치 업데이트가 아니라 텍스트 기반 지식 편집
• 보상 스칼라(reward)가 아니라 고차원적인 언어 피드백
• “이렇게 행동해라”가 아니라 “이렇게 생각해라”에 가깝다

비유하자면, 모델이 스스로를 위한 문제 해결 교과서를 써 내려가는 과정입니다.

---

왜 더 강력하고 효율적인가

데이터 효율성의 차이

강화학습은 보통 “잘했는지 못했는지”만 알려줍니다.
하지만 시스템 프롬프트 학습은 다음을 가능하게 합니다.

• 왜 틀렸는지
• 어떤 전략이 더 나은지
• 다음엔 무엇을 시도해야 하는지

이것은 훨씬 정보 밀도가 높은 학습 신호입니다.

---

인간 학습과의 유사성

사람은 새로운 전략을 먼저 명시적으로 이해한 뒤, 반복을 통해 습관화합니다.
이 관점에서 보면, 시스템 프롬프트 학습은 다음 질문으로 이어집니다.

• 명시적 지식을 언제, 어떻게 가중치로 옮길 것인가
• 모든 지식이 반드시 습관이 되어야 하는가

이는 인간 학습과 매우 닮은 문제 설정입니다.

---

아직 남아 있는 질문들

이 패러다임은 가능성이 큰 만큼, 해결해야 할 과제도 많습니다.

• 시스템 프롬프트는 어떻게 수정할 것인가
• 수정 규칙 자체도 학습 대상이 될 수 있는가
• 명시적 지식과 암묵적 지식의 경계는 어디인가

하지만 분명한 점은, 지금의 LLM 학습 구조만으로는 설명되지 않는 영역이 존재한다는 사실입니다.

---

728x90

사전학습은 지식을 만들고, 파인튜닝은 습관을 만듭니다.
그 사이에는 아직 충분히 탐구되지 않은 영역이 있습니다.

시스템 프롬프트 학습은
LLM이 단순히 더 많은 데이터를 먹는 존재가 아니라,
스스로 문제 해결 전략을 정리하고 축적하는 존재로 진화할 가능성을 보여줍니다.

만약 이 접근이 실현된다면,
LLM은 더 이상 “기억을 못 하는 존재”가 아니라
경험에서 배운 교훈을 스스로 정리하는 시스템에 가까워질 수 있습니다.

이것이 바로, 우리가 아직 완성하지 못한 LLM 학습의 중요한 퍼즐 조각입니다.

300x250

https://x.com/karpathy/status/1921368644069765486?fbclid=IwY2xjawS5jQ5leHRuA2FlbQIxMABicmlkETEwWVUzUDJLUjZzbWZtUmdlc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHkFTbESQfJX1QquHxZnoAqIzgJiY72Tc30xRXwbWvExLleJiuW2mGUPoRgZt_aem_Jtvei5VXCDxaKrum2fKsNQ

X의 Andrej Karpathy님(@karpathy)