시퀀스 모델 기반 다중 에이전트 강화학습에서 협력이 자연스럽게 발생하는 이유

다중 에이전트 강화학습(MARL)에서 “어떻게 하면 에이전트들이 서로 협력하게 만들 수 있을까?”는 오랜 연구 주제입니다. 기존 방법들은 상대방의 학습 방식을 가정하거나, 메타 학습자와 순진한 학습자를 시간 척도로 분리하는 등 복잡한 구조에 의존해 왔습니다.

이번 연구는 전혀 다른 관점을 제시합니다. 다양한 공동 플레이어(co-players)와 함께 시퀀스 모델 기반 에이전트를 훈련하기만 해도, 별도의 복잡한 메커니즘 없이 협력이 자연스럽게 유도될 수 있다는 점을 실험과 이론으로 보여줍니다.

이 글에서는 해당 연구의 핵심 가설, 학습 구조, 알고리즘, 실험 결과, 이론적 의미까지 단계적으로 정리해 보겠습니다.

반응형

---

연구 배경: 왜 협력은 어려운가?

다중 에이전트 환경에서는 각 에이전트가 자신의 보상을 극대화하려고 행동합니다. 이 과정에서 다음과 같은 문제가 발생합니다.

• 상대를 환경의 일부로만 취급하면 상호 배신으로 수렴하기 쉽다.
• 협력을 유도하려면 상대의 학습 과정을 이해해야 한다.
• 기존 공동 플레이어 학습 인지(co-player learning awareness) 방식은 복잡한 메타 기울기나 시간 척도 분리를 요구한다.

특히 반복 죄수의 딜레마(IPD)와 같은 환경에서는, 아무 장치가 없다면 대부분 상호 배신(mutual defection)으로 수렴하는 경향이 있습니다.

이 연구는 “다양성”과 “인-컨텍스트 학습”이라는 두 가지 요소가 이 문제를 해결할 수 있다고 가정합니다.

---

핵심 가설: 다양성이 인-컨텍스트 최적 반응을 만든다

연구의 핵심 가설은 다음과 같습니다.

다양한 공동 플레이어 분포에 대해 시퀀스 모델 에이전트를 훈련하면, 에이전트 내부에 인-컨텍스트 최적 반응 전략이 자연스럽게 형성된다.

여기서 인-컨텍스트 학습(in-context learning)이란, 에피소드 내 상호작용 기록을 바탕으로 상대 전략을 추론하고 그에 맞게 행동을 조정하는 능력을 의미합니다.

이 전략은 빠른 시간 척도(에피소드 내)에서는 학습 알고리즘처럼 작동하며, 다음과 같은 특징을 보입니다.

• 상대 전략을 빠르게 추론한다.
• 그에 맞는 최적 반응으로 적응한다.
• 겉보기에는 ‘순진한 학습자(naive learner)’처럼 행동한다.
• 그 결과, 착취(extortion)에 취약해진다.

흥미로운 점은 이 취약성이 오히려 협력을 유도하는 핵심 메커니즘으로 작동한다는 것입니다.

---

문제 설정: 반복 죄수의 딜레마 기반 실험 구조

연구는 다중 에이전트 상호작용을 부분 관측 확률 게임(POSG)으로 정형화합니다.

각 에이전트는 매 타임스텝마다:

• 관측
• 이전 행동
• 이전 보상

을 포함한 상호작용 기록에 조건화된 정책을 사용합니다.

실험 환경은 협력 연구의 대표 모델인 반복 죄수의 딜레마(IPD)이며, 100단계 고정 길이 에피소드로 구성됩니다.

---

혼합 풀 훈련(Mixed Pool Training)의 구조

이 연구의 가장 중요한 설계는 혼합 풀 훈련입니다.

훈련 시 에이전트는 두 종류의 상대와 번갈아 플레이합니다.

1. 학습 에이전트

• 시퀀스 모델 정책 사용
• 전체 에피소드 기록을 처리
• 파라미터가 지속적으로 업데이트됨

2. 정적 테이블 에이전트

• 이전 턴의 공동 행동에 따른 확률 벡터로 정의
• 고정된 정책
• 파라미터 공간에서 균일 샘플링

훈련 구성은 다음과 같습니다.

• 50%는 다른 학습 에이전트와 플레이
• 50%는 무작위 테이블 에이전트와 플레이
• 상대 식별 정보는 제공하지 않음
• 오직 상호작용 기록만으로 상대를 추론

이 “다양성”이 인-컨텍스트 적응 메커니즘을 유도하는 핵심 요인입니다.

---

학습 알고리즘: A2C와 PPI

1. Independent A2C

• 표준 모델-프리 강화학습
• 각 에이전트는 상대를 환경의 일부로 간주
• 독립적으로 정책 최적화

2. Predictive Policy Improvement (PPI)

본 연구에서 제안된 모델-기반 알고리즘입니다.

PPI의 핵심 구조

• 시퀀스 모델이 월드 모델 + 정책 사전 역할 수행
• 행동, 관측, 보상의 공동 시퀀스를 예측
• 몬테카를로 롤아웃으로 Q값 추정

정책 개선 식은 다음과 같은 형태입니다.

π(a|x) ∝ p(a|x) · exp(β Q̂(x,a))

즉,

• 시퀀스 모델이 제안한 행동 분포
• 추정된 가치 함수

를 결합해 정책을 업데이트합니다.

시퀀스 모델 구조

• GRU 기반
• 128차원 은닉 상태
• 관측·행동·보상은 32차원 임베딩
• 다음 토큰 예측 손실 최소화
• AdamW 옵티마이저 사용
• 무작위 테이블 에이전트 데이터로 사전 학습

---

실험 결과: 왜 협력이 발생했는가?

1. 혼합 훈련은 협력으로 수렴

• 혼합 풀에서 훈련한 PPI와 A2C 모두 협력으로 수렴
• 오직 학습 에이전트끼리만 훈련하면 상호 배신으로 수렴
• 상대 식별 정보를 명시적으로 제공해도 협력으로 가지 않음

즉, 협력의 핵심은 “다양성 기반 인-컨텍스트 학습”입니다.

---

메커니즘 분석: 착취에서 협력으로

연구는 협력 형성 과정을 3단계로 분석합니다.

단계 1: 다양성 → 인-컨텍스트 최적 반응 등장

에이전트는 에피소드 내에서 빠르게 상대에 적응합니다.

이는 내부적으로 학습 알고리즘과 유사한 구조가 형성되었음을 의미합니다.

단계 2: 인-컨텍스트 학습자는 착취에 취약

고정된 인-컨텍스트 학습자를 상대로 새 에이전트를 훈련하면, 새 에이전트는 이를 착취하여 더 높은 보상을 얻습니다.

즉, 빠른 적응 능력이 역설적으로 착취 신호를 제공합니다.

단계 3: 상호 착취 → 상호 형성 → 협력

두 착취 정책이 서로 만났을 때:

• 서로를 형성(mutual shaping)하기 시작
• 에피소드 내 행동이 점점 협력적으로 변화
• 파라미터 업데이트가 이를 강화

결과적으로 협력 행동이 안정적으로 학습됩니다.

---

이론적 분석: 예측 균형과 고정점

PPI는 퍼포머티브 예측(performative prediction) 관점에서 분석됩니다.

학습 루프는 다음과 같은 닫힌 구조입니다.

1. 모델이 정책을 결정
2. 정책이 데이터 분포 생성
3. 데이터가 모델 업데이트에 사용

이 루프의 안정점을 예측 균형(Predictive Equilibrium)이라 정의합니다.

연구는 다음을 증명합니다.

• 국소 예측 균형은 존재한다 (브라우어 고정점 정리 기반)
• 혼합 예측 균형 역시 존재한다 (샤우더 고정점 정리 기반)
• 완벽한 예측 균형은 주관적 임베디드 균형과 일치한다

이는 PPI 고정점이 게임 이론적 해법 개념과 연결됨을 의미합니다.

---

복잡한 메타 학습 없이도 협력은 가능하다

이 연구의 핵심 메시지는 명확합니다.

• 메타 기울기나 엄격한 시간 척도 분리는 필수가 아니다.
• 다양한 공동 플레이어와의 훈련만으로도 충분하다.
• 인-컨텍스트 학습은 협력의 촉매 역할을 한다.
• 상호 착취 압력이 결국 협력으로 수렴하게 만든다.

특히 이는 현대 파운데이션 모델의 훈련 패러다임과도 연결됩니다. 다양한 데이터와 상호작용 속에서 자연스럽게 인-컨텍스트 학습이 등장하고, 그 결과 협력적 사회 행동이 확장 가능하고 계산 효율적인 방식으로 출현할 수 있음을 시사합니다.

---

728x90

다중 에이전트 학습의 새로운 방향

이번 연구는 다중 에이전트 강화학습에서 협력을 설계하는 방식을 재정의합니다.

협력을 “강제로 설계”하는 대신,
다양성을 통해 “자연스럽게 발생”하도록 만드는 접근입니다.

이는 다음과 같은 시사점을 가집니다.

• 복잡한 메타 구조 없이도 확장 가능
• 표준 분산 학습 기법과 결합 가능
• 파운데이션 모델 기반 사회적 행동 연구로 확장 가능

앞으로 다중 에이전트 시스템이 실제 사회적 환경에 가까워질수록, 이런 다양성 기반 학습 전략은 더욱 중요한 역할을 하게 될 것입니다.

300x250

https://arxiv.org/abs/2602.16301?fbclid=IwY2xjawQIsnVleHRuA2FlbQIxMABicmlkETJhTVZWN1I2VnFtVHlEdHR6c3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHg8Nv2_rr988IESoQLa5C2ZY2Qvd5XKqu27Jo64B9BZKx4wEqat0XLj9ON1X_aem_H-1SHlVR8ez6TvkWzlJbFQ

Multi-agent cooperation through in-context co-player inference