AI Agent의 자기 개선(Self-Improvement) 체계: Foundation Model과 Scaffolding 기반 자율 진화 프레임워크

AI Agent는 이제 단순히 주어진 명령을 수행하는 수준을 넘어, 경험을 바탕으로 스스로 성능을 향상시키는 방향으로 발전하고 있습니다. 이러한 자기 개선(Self-Improvement) 능력은 차세대 Agent 시스템을 구성하는 핵심 요소로 주목받고 있으며, 모델 자체를 학습시키는 방식뿐 아니라 프롬프트, 메모리, 도구, 제어 로직과 같은 운영 구조까지 함께 개선하는 방향으로 확장되고 있습니다.

이번 글에서는 AI Agent의 자기 개선 과정을 체계적으로 정리한 서베이 논문을 바탕으로, Agent 시스템을 어떻게 정의하는지, 자기 개선은 어떤 방식으로 이루어지는지, 그리고 이를 구성하는 핵심 기술과 앞으로의 과제는 무엇인지 살펴보겠습니다.

반응형

---

AI Agent의 자기 개선(Self-Improvement)이란?

기존 AI 모델은 학습이 완료되면 고정된 상태로 서비스를 수행하는 것이 일반적이었습니다. 반면 자기 개선(Self-Improvement)은 Agent가 자신의 실행 결과와 경험을 활용하여 지속적으로 성능을 향상시키는 개념입니다.

논문에서는 현대 AI Agent를 다음 두 요소의 결합으로 정의합니다.

• Foundation Model(FM): 언어 이해와 추론을 담당하는 핵심 모델
• Operational Scaffold: 모델을 실제로 동작시키기 위한 프롬프트, 메모리, 도구, 제어 로직 등의 운영 구조

즉, Agent의 성능은 모델 자체뿐 아니라 모델을 둘러싼 운영 환경에 의해서도 크게 결정됩니다.

---

자기 개선의 두 가지 핵심 경로

논문은 현대 Agent 시스템의 자기 개선 방식을 크게 두 가지로 분류합니다.

1. Foundation Model Improvement
2. Scaffolding Improvement

이 두 방식은 서로 독립적이면서도 상호 보완적으로 동작하여 Agent의 성능을 향상시킵니다.

---

Foundation Model Improvement

Foundation Model Improvement는 모델의 파라미터(θ)를 직접 업데이트하여 능력을 모델 내부에 학습시키는 방식입니다.

논문에서는 학습 신호의 출처에 따라 세 가지 방식으로 구분합니다.

1. Intrinsic Generative Demonstrations

모델이 스스로 새로운 학습 데이터를 생성하고 이를 이용해 다시 학습하는 방식입니다.

대표 사례로는 다음과 같은 접근이 있습니다.

• Self-Instruct

외부 데이터에 의존하지 않고 모델이 새로운 학습 데이터를 생성한다는 점이 특징입니다.

---

2. Intrinsic Evaluative Feedback

Agent가 자신의 결과물을 스스로 평가하여 학습 신호로 활용하는 방식입니다.

예를 들어,

• 답변에 점수를 부여
• 결과를 비평
• 여러 결과를 비교하여 선호도를 생성

이러한 평가 결과는 지도학습이나 강화학습(RL)의 학습 데이터로 활용됩니다.

대표적인 사례는 다음과 같습니다.

• Constitutional AI
• ReST

---

3. Extrinsic Exploratory Experience

외부 환경과의 상호작용을 통해 경험을 축적하며 학습하는 방식입니다.

예를 들어

• 웹 환경 탐색
• 시뮬레이션 환경
• World Model 기반 환경

등에서 얻은 경험을 통해 Agent는 새로운 행동 전략을 학습합니다.

대표 사례는 다음과 같습니다.

• WebRL
• World Model 기반 학습

---

Scaffolding Improvement

Scaffolding Improvement는 Foundation Model 자체는 변경하지 않고 Agent를 둘러싼 운영 구조를 개선하는 접근입니다.

모델 재학습 없이 빠르게 성능을 향상시킬 수 있다는 것이 가장 큰 특징입니다.

논문에서는 이를 네 가지 영역으로 구분합니다.

---

Prompt Optimization

프롬프트를 지속적으로 개선하여 더 나은 결과를 얻는 방식입니다.

활용되는 기법은 다음과 같습니다.

• 스칼라 피드백 기반 최적화
• 정성적 피드백 반영
• Population-Based Evolution
• Textual Gradient

특히 최근에는 Textual Gradient가 중요한 기술로 주목받고 있습니다.

기존 딥러닝에서는 수치 기반 Gradient를 이용해 모델을 학습했다면, Textual Gradient는 텍스트 형태의 비평과 피드백을 활용하여 프롬프트를 개선합니다.

즉, "어떤 부분이 부족한지"를 자연어로 설명하고 이를 바탕으로 프롬프트를 발전시키는 방식입니다.

---

Memory Evolution

Agent의 메모리를 지속적으로 관리하는 기술입니다.

기존 메모리는 단순히 대화를 저장하는 수준이었다면, Memory Evolution은 저장된 정보를 능동적으로 관리합니다.

예를 들어

• 중요한 정보만 저장
• 오래된 정보 삭제
• 정보 압축
• 메모리 구조 재구성

등을 수행하여 장기적인 성능 향상을 지원합니다.

---

Tool Governance

Agent가 사용하는 도구를 효율적으로 관리하는 방식입니다.

주요 기능은 다음과 같습니다.

• 적절한 도구 선택
• 도구 호출 최적화
• 새로운 도구 생성
• 도구 조합 자동화

이를 통해 Agent의 행동 범위와 문제 해결 능력을 확장할 수 있습니다.

---

Full Scaffolding

가장 큰 범위의 개선 방식으로 Agent의 전체 아키텍처를 재구성합니다.

단순히 프롬프트를 수정하는 것이 아니라

• 추론 방식
• 작업 흐름
• 의사결정 구조
• 행동 제어 로직

등을 함께 최적화하여 전체 시스템의 성능을 향상시키는 접근입니다.

---

자기 개선을 가능하게 하는 핵심 통찰

논문은 Self-Improvement를 단순한 프롬프트 엔지니어링 기술로 보지 않습니다.

오히려 다음 세 가지 연구 분야를 연결하는 새로운 패러다임으로 설명합니다.

• 강화학습(Reinforcement Learning)
• 온라인 학습(Online Learning)
• 메타 학습(Meta-Learning)

즉, Agent는 자신의 경험을 지속적으로 활용하여 새로운 지식을 습득하고, 이를 다시 행동 전략에 반영하는 순환 구조를 갖게 됩니다.

특히 Self-Improvement는 고전 AI의 재귀적 자기 참조 개념과 Foundation Model의 일반화 능력을 결합한 새로운 접근이라는 점을 강조합니다.

---

자기 개선 Agent는 어떻게 평가할까?

논문에서는 자기 개선 시스템을 평가하는 방법도 함께 정리합니다.

Metric-Based Measurement

벤치마크 점수와 같은 정량적인 지표를 활용하여 성능 변화를 측정하는 방식입니다.

예를 들어

• 정확도
• 성공률
• 작업 완료율

등이 활용됩니다.

---

Judge-Based Measurement

모델 또는 평가자가 결과를 직접 판단하는 방식입니다.

단순한 점수뿐 아니라

• 답변 품질
• 추론 과정
• 일관성

등 다양한 요소를 종합적으로 평가할 수 있습니다.

---

앞으로 해결해야 할 과제

Agent가 스스로를 개선하는 과정은 강력한 가능성을 제공하지만, 동시에 여러 기술적 과제도 존재합니다.

대표적인 문제는 다음과 같습니다.

• Model Collapse: 반복적인 자기 학습 과정에서 모델 성능이 저하되는 현상
• Reward Hacking: 실제 성능 향상보다 보상 획득에만 최적화되는 문제
• 안전성 문제: 자기 개선 과정에서 예측하지 못한 행동이 발생할 가능성

따라서 지속적이고 신뢰할 수 있는 자기 개선을 위해서는 성능 향상뿐 아니라 안정성과 평가 체계까지 함께 고려해야 합니다.

---

728x90

이번 서베이 논문은 현대 AI Agent의 자기 개선 과정을 Foundation Model 개선과 Scaffolding 개선이라는 두 축으로 체계적으로 정리했다는 점에서 의미가 있습니다.

특히 Agent를 단순한 언어 모델이 아닌 Foundation Model과 운영 스캐폴드가 결합된 시스템으로 정의하고, 모델 파라미터와 운영 구조를 각각 또는 함께 개선하는 다양한 접근 방식을 통합적으로 제시했습니다.

또한 Prompt Optimization, Memory Evolution, Tool Governance, Full Scaffolding과 같은 운영 구조 개선 기법부터 Textual Gradient, 강화학습, 메타 학습과의 연계성, 그리고 평가 방법과 안전성 문제까지 폭넓게 다루며 자기 개선 Agent 연구의 현재와 향후 방향을 제시합니다.

결국 AI Agent 연구는 단순히 더 큰 모델을 만드는 단계를 넘어, 스스로 자신의 구조와 학습 방식을 개선하며 지속적으로 진화하는 지능형 시스템을 구현하는 방향으로 발전하고 있습니다. 이러한 자기 개선 패러다임은 소프트웨어 공학, Embodied AI를 비롯한 다양한 분야에서 차세대 AI 시스템의 핵심 기반 기술로 자리잡을 것으로 기대됩니다.

300x250

https://arxiv.org/abs/2607.13104

Self-Improvements in Modern Agentic Systems: A Survey