Microsoft SkillOpt, AI 에이전트 스킬을 모델과 개발 환경 사이에서 재사용하는 방법

AI 에이전트를 실제 업무에 활용하다 보면 한 가지 고민이 생깁니다. 특정 모델이나 개발 환경에 맞춰 성능을 높인 스킬을 다른 모델이나 도구에서도 그대로 사용할 수 있을까요?

Microsoft를 비롯한 연구진이 개발한 SkillOpt는 이 질문에 주목합니다. 모델 자체를 다시 학습시키는 대신 자연어로 작성된 스킬 문서를 최적화하고, 이렇게 만들어진 스킬이 다른 모델 규모나 Codex, Claude Code 같은 서로 다른 실행 환경에서도 얼마나 성능을 유지하는지 살펴봤습니다.

특히 주목할 결과는 Codex에서 최적화한 스킬이 Claude Code에서도 높은 성능을 보였다는 점입니다. 다만 모든 작업에서 동일한 결과가 나타난 것은 아닙니다. 스프레드시트 작업처럼 절차 중심의 스킬은 높은 이식성을 보인 반면, 수학 문제처럼 추론에 더 크게 의존하는 스킬은 전이 효과가 제한적이었습니다.

이번 연구 결과를 통해 SkillOpt가 어떻게 스킬을 최적화하는지, 모델과 개발 환경이 달라져도 스킬을 재사용할 수 있는 이유는 무엇인지, 그리고 AI 에이전트 스킬을 하나의 관리 가능한 아티팩트로 바라볼 수 있다는 점까지 살펴보겠습니다.

반응형

SkillOpt는 무엇을 최적화하는 기술인가

SkillOpt는 Microsoft, Shanghai Jiao Tong University, Tongji University, Fudan University 연구진이 개발한 텍스트 공간 기반 스킬 최적화 기술입니다.

핵심은 모델 자체를 변경하지 않는다는 것입니다.

일반적으로 AI 모델의 성능을 높이려면 모델을 추가 학습하거나 파인튜닝하는 방법을 생각할 수 있습니다. 하지만 SkillOpt는 다른 접근 방식을 사용합니다.

대상 모델은 그대로 고정하고, 모델이 특정 업무를 더 잘 수행할 수 있도록 자연어로 작성된 스킬 문서 자체를 최적화합니다.

최종적으로 만들어지는 결과물은 하나의 텍스트 파일인 best_skill.md입니다.

구조를 단순화하면 다음과 같습니다.

고정된 대상 모델 → 스킬 적용 → 작업 실행 → 결과 평가 → 스킬 수정 → 성능 검증 → 최적 스킬 저장

즉, 모델의 가중치를 변경하는 것이 아니라 모델에게 업무 수행 방법을 알려주는 텍스트 기반 지침을 개선하는 방식입니다.

실행 결과를 바탕으로 스킬을 반복해서 개선

SkillOpt의 특징은 사람이 스킬 문서를 한 번 작성하고 끝내는 방식이 아니라는 점입니다.

SkillOpt는 옵티마이저 모델을 활용해 평가된 실행 결과를 읽고, 기존 스킬 문서에 대해 제한적인 수정안을 제안합니다.

수정 방식은 크게 세 가지입니다.

• 내용을 추가하는 Add
• 불필요한 내용을 삭제하는 Delete
• 기존 내용을 다른 내용으로 교체하는 Replace

그렇다고 제안된 변경을 모두 적용하는 것은 아닙니다.

별도로 마련된 선택용 데이터에서 변경 전보다 점수가 엄격하게 높아진 경우에만 해당 수정사항을 받아들입니다.

이를 반복하면서 성능을 높이는 방향으로 스킬 문서를 개선합니다.

결국 SkillOpt가 만들어내는 것은 복잡한 모델 파일이 아니라 사람이 직접 확인할 수 있는 하나의 텍스트 기반 스킬 아티팩트입니다.

모델 규모가 달라져도 스킬은 전달될까

SkillOpt의 중요한 실험 중 하나는 같은 모델 계열 안에서 스킬을 다른 규모의 모델로 옮겼을 때 어떤 결과가 나오는지를 확인하는 것입니다.

연구에서는 GPT-5.4에서 스킬을 학습한 뒤 GPT-5.4-mini와 GPT-5.4-nano에 적용했습니다.

결과를 해석할 때는 세 가지 값을 구분해야 합니다.

• Baseline: 스킬을 적용하지 않은 대상 모델의 점수
• Direct: 해당 대상 모델에서 SkillOpt를 직접 학습한 결과
• Transferred: 다른 모델에서 학습한 스킬을 추가 최적화 없이 적용한 결과

여기서 중요한 것은 단순히 Transferred와 Direct 중 어느 쪽이 높은지를 비교하는 것이 아닙니다.

원래 대상 모델에서 직접 최적화했을 때 얻은 성능 향상 중 얼마만큼이 다른 모델에서도 유지됐는지가 핵심입니다.

SpreadsheetBench에서 확인된 높은 전이 효과

GPT-5.4에서 학습한 스킬을 GPT-5.4-mini에 적용한 SpreadsheetBench에서는 다음과 같은 결과가 나타났습니다.

• Baseline: 36.1
• Direct: 47.5
• Transferred: 45.5
• In-domain gain 유지율: 82%

직접 최적화했을 때 얻은 성능 향상의 82%가 다른 모델에서도 유지된 셈입니다.

이는 스킬을 다른 모델로 옮겨 사용하는 측면에서 상당히 높은 수준의 재사용 가능성을 보여주는 결과입니다.

반면 GPT-5.4-nano의 SpreadsheetBench에서는 유지율이 16%로 낮았습니다.

따라서 이 연구가 말하는 핵심은 어떤 모델에서도 스킬이 동일하게 작동한다는 것이 아닙니다.

모델 규모와 작업에 따라 전이 정도가 달라지지만, 제공된 결과에서는 스킬을 적용한 전이 결과가 대상 모델의 스킬 미적용 기준선보다 낮아지지 않았다는 점이 중요한 특징입니다.

LiveMath에서는 결과가 달랐다

LiveMath에서도 모델 규모에 따라 다른 결과가 나타났습니다.

GPT-5.4-mini에서는 In-domain gain 유지율이 25%였지만, GPT-5.4-nano에서는 오히려 재미있는 결과가 나타났습니다.

GPT-5.4-nano에서 스킬을 직접 최적화한 결과는 27.2였지만, 다른 모델에서 학습한 스킬을 그대로 전이했을 때는 28.8을 기록했습니다.

즉, 전이된 스킬의 점수가 직접 최적화된 결과보다 높았습니다.

이 결과는 모든 스킬이 특정 대상 모델에만 종속되는 것은 아니며, 일부 학습된 절차는 대상 모델과 관계없이 활용될 가능성을 보여줍니다.

다만 네 가지 실험 결과가 모두 같은 수준의 전이 효과를 보여주는 것은 아닙니다.

그리고 이 실험의 범위 역시 중요합니다.

제공된 결과에서는 모두 GPT 계열 내부에서의 전이를 다루고 있습니다. GPT에서 Qwen과 같은 서로 다른 모델 계열 간 전이는 테스트되지 않았습니다.

가장 주목할 결과, Codex와 Claude Code 사이의 스킬 전이

SkillOpt에서 특히 관심을 끄는 부분은 서로 다른 실행 환경 사이에서도 스킬을 전달할 수 있는지를 확인한 실험입니다.

이번 실험에서는 GPT-5.5를 기반으로 Codex와 Claude Code 사이의 스킬 전이를 확인했습니다.

결과는 모델 규모 간 전이보다 더 흥미롭습니다.

SpreadsheetBench에서는 강력한 전이 효과

Codex에서 최적화한 스킬을 Claude Code에 적용한 결과는 다음과 같습니다.

• Claude Code Baseline: 22.1
• Claude Code Direct: 80.4
• Codex → Claude Code Transferred: 81.8

Codex에서 최적화한 스킬을 Claude Code에 적용했는데, 결과가 81.8로 나타났습니다.

이는 Claude Code에서 직접 최적화한 80.4보다도 높은 점수입니다.

즉, Codex에서 학습한 스킬이 Claude Code에서도 매우 효과적으로 작동한 것입니다.

반대 방향인 Claude Code → Codex에서도 전이 효과가 확인됐습니다.

• Codex Baseline: 27.5
• Codex Direct: 85.0
• Claude Code → Codex Transferred: 71.1

직접 최적화한 결과보다는 낮지만, 스킬을 적용하지 않았을 때보다 크게 향상됐습니다.

이 결과는 하나의 개발 환경에 맞춰 만든 스킬을 다른 AI 코딩 환경에서도 활용할 수 있는 가능성을 보여줍니다.

왜 SpreadsheetBench 스킬은 다른 환경에서도 잘 작동했을까

Codex와 Claude Code는 동일한 도구가 아닙니다.

각각 다른 도구와 파일 API, 명령어 환경을 제공합니다.

그런데도 SpreadsheetBench에서 높은 전이 효과가 나타났습니다.

연구에서 주목하는 이유는 해당 스킬이 특정 명령어를 외우도록 만들어진 것이 아니라 업무를 수행하는 절차 자체를 설명하고 있기 때문입니다.

예를 들어 해당 스킬은 다음과 같은 절차를 중심으로 구성됩니다.

1. 먼저 통합 문서의 구조를 확인합니다.
2. 수식을 확인합니다.
3. 작업 결과를 검증합니다.
4. 필요한 범위 전체에 계산된 정적 값을 기록합니다.
5. Excel의 재계산에만 의존하지 않습니다.

이러한 방법은 특정 CLI 명령어 자체에 종속되지 않습니다.

어떤 환경에서 Python을 실행하더라도 스프레드시트를 어떤 순서와 방식으로 검사하고 처리해야 하는지라는 업무 절차는 동일하게 적용할 수 있습니다.

따라서 이 결과가 보여주는 중요한 포인트는 단순히 "스킬 파일을 옮길 수 있다"는 것이 아닙니다.

도구에 종속된 명령어보다 업무를 수행하는 일반적인 절차를 담은 스킬이 더 높은 이식성을 가질 가능성이 있다는 점입니다.

반대로 LiveMath에서는 전이 효과가 낮았다

모든 작업이 같은 결과를 보인 것은 아닙니다.

LiveMath에서는 Codex에서 Claude Code로 스킬을 옮겼을 때 In-domain gain 유지율이 10%에 그쳤습니다.

이는 SpreadsheetBench의 102%와 큰 차이를 보입니다.

반대 방향인 Claude Code → Codex 역시 30% 수준으로 나타났습니다.

이 차이는 중요한 의미를 갖습니다.

스킬이 다른 환경에서도 잘 작동할 수 있다고 해서 모든 유형의 AI 스킬이 동일하게 이식되는 것은 아닙니다.

현재 제공된 연구 결과를 기준으로 보면 다음과 같이 구분할 수 있습니다.

절차 중심 스킬

• 구조 확인
• 검증
• 포맷 적용
• 작업 순서 정의

이러한 유형은 다른 환경에서도 재사용될 가능성이 상대적으로 높습니다.

반면 추론 중심 스킬은 학습 과정에서 사용한 모델이나 환경의 영향을 더 크게 받을 수 있습니다.

따라서 AI 에이전트 스킬의 이식성을 고려한다면 단순히 "스킬 파일 하나로 모든 환경에서 사용할 수 있는가"만 볼 것이 아니라 그 스킬이 어떤 종류의 지식을 담고 있는가를 함께 살펴볼 필요가 있습니다.

다른 벤치마크에서도 스킬 전이는 확인됐다

SkillOpt의 전이 실험은 모델이나 하네스 변경에만 한정되지 않습니다.

OlympiadBench에서 학습한 스킬을 Omni-MATH에 적용하는 실험도 진행됐습니다.

결과는 다음과 같습니다.

모델	Baseline	Transferred	성능 향상
GPT-5.4	56.6	60.3	+3.7
GPT-5.4-mini	34.8	36.6	+1.8
GPT-5.4-nano	38.8	40.1	+1.3

세 모델 모두 스킬을 적용한 이후 성능이 향상됐습니다.

다만 상승폭 자체는 크지 않습니다.

또한 이 실험에서는 Omni-MATH에 대한 Direct SkillOpt 결과가 제공되지 않았기 때문에, 직접 최적화한 결과와 비교하는 것이 아니라 스킬을 적용하지 않은 Baseline과 전이 결과를 비교했다는 점을 구분해서 볼 필요가 있습니다.

그럼에도 테스트 데이터와 답변 형식이 달라진 상황에서 수학적 문제 해결 절차가 일부 유지됐다는 점에서 스킬의 재사용 가능성을 확인할 수 있습니다.

하나의 텍스트 파일이 여러 환경에서 이동할 수 있는 이유

SkillOpt의 전이 가능성을 이해하려면 최종 산출물의 구조를 볼 필요가 있습니다.

Direct Chat, Codex, Claude Code는 모두 동일한 best_skill.md 파일 형식을 사용합니다.

이러한 공통 형식이 서로 다른 실행 환경 사이에서 스킬을 옮길 수 있는 기반이 됩니다.

Codex 환경에서는 현재 스킬을 작업별 SKILL.md로 렌더링해 작업 파일과 함께 전달하고, 이후 실행 과정에서 생성된 간결한 실행 추적 정보를 읽습니다.

Claude Code 역시 claude CLI를 통해 유사한 워크스페이스 계약을 사용합니다.

중요한 것은 각 환경에 맞춘 별도의 스킬 포맷을 만드는 것이 아니라는 점입니다.

공통된 텍스트 기반 스킬 아티팩트를 사용하기 때문에 하나의 스킬을 서로 다른 하네스에서 활용할 수 있는 구조가 만들어집니다.

SkillOpt 스킬은 얼마나 복잡할까

최종 스킬의 크기도 주목할 만합니다.

제공된 연구 결과에 따르면 6개 벤치마크에서 최종 스킬은 379~1,995토큰 규모였으며, 중앙값은 약 920토큰입니다.

또한 최종 스킬은 1~4개의 승인된 수정으로 구성됐습니다.

이는 SkillOpt가 수많은 변경을 누적해 거대한 지침서를 만드는 방식이 아니라는 점을 보여줍니다.

필요한 절차를 찾아내고, 실제 성능 향상이 확인된 수정만 받아들이면서 비교적 간결한 스킬 아티팩트를 만들어가는 방식입니다.

연구에서 제시한 SpreadsheetBench의 학습 규칙 역시 특정 작업의 정답 자체를 저장하는 방식이 아니라 통합 문서 구조와 수식을 먼저 확인하고, 요청된 범위 전체에 평가된 정적 값을 작성하는 절차를 담고 있습니다.

즉, 특정 사례에만 적용되는 지식보다 여러 작업에 재사용할 수 있는 절차를 스킬로 만드는 데 초점이 맞춰져 있습니다.

한 번의 최적화 비용을 여러 환경으로 확장할 수 있다

SkillOpt의 또 다른 특징은 최적화 비용과 실제 배포 비용을 분리할 수 있다는 점입니다.

제공된 연구에서는 벤치마크에 따라 절대 테스트 점수 1점을 높이는 데 필요한 학습 토큰이 0.6M~46.4M 수준으로 보고됐습니다.

SpreadsheetBench는 0.6M으로 상대적으로 낮았고, DocVQA는 46.4M으로 나타났습니다.

여기서 중요한 것은 최적화가 완료된 이후입니다.

옵티마이저 모델은 학습 과정에서만 사용되며, 배포 시에는 추가적인 추론 호출이 필요하지 않습니다.

따라서 하나의 스킬을 최적화하는 비용을 한 번 지불하고, 해당 스킬을 여러 환경에 적용할 수 있다면 스킬 최적화에 들어간 비용을 여러 배포 환경으로 확장할 수 있습니다.

예를 들어 특정 환경에서 최적화 비용을 지불해 만든 스킬이 다른 AI 코딩 환경에서도 효과적으로 작동한다면, 각 환경마다 동일한 최적화 작업을 반복할 필요가 줄어들 수 있습니다.

Codex → Claude Code의 SpreadsheetBench 결과는 이러한 가능성을 보여주는 사례입니다.

텍스트 파일이라는 점이 만드는 또 하나의 장점

SkillOpt의 장점은 성능 전이에만 있는 것이 아닙니다.

최종 결과물이 사람이 읽을 수 있는 텍스트 파일이라는 점도 중요합니다.

모델의 가중치처럼 내부 구조를 사람이 직접 검토하기 어려운 형태가 아니라, 도메인 담당자가 몇 분 안에 내용을 확인할 수 있는 형태입니다.

따라서 조직에서 AI 에이전트 스킬을 관리할 때도 다른 접근이 가능합니다.

예를 들어 어떤 스킬이 어떤 절차를 요구하는지 직접 확인하고, 불필요하거나 잘못된 지침이 포함되어 있는지 검토할 수 있습니다.

변경 과정도 추적할 수 있습니다.

각 단계에서 edit_apply_report.json을 통해 수정사항의 적용 또는 건너뜀 여부를 기록합니다.

결국 SkillOpt의 텍스트 기반 아티팩트는 재사용성뿐 아니라 검토 가능성과 변경 추적성이라는 운영상의 장점도 제공합니다.

AI 에이전트 스킬을 하나의 자산으로 바라볼 수 있다

지금까지 AI 에이전트의 성능을 개선하는 방법을 생각하면 모델 자체를 어떻게 바꿀 것인지에 초점을 맞추기 쉬웠습니다.

SkillOpt는 다른 관점을 제시합니다.

모델을 변경하지 않고도 모델이 특정 업무를 수행하는 방법을 스킬이라는 별도의 아티팩트로 관리할 수 있다는 것입니다.

그리고 그 스킬이 특정 모델이나 특정 실행 환경에만 묶이지 않고 다른 환경에서도 효과를 낸다면, 스킬 자체를 재사용 가능한 자산으로 볼 수 있습니다.

특히 Codex와 Claude Code 사이의 실험은 이 가능성을 명확하게 보여줍니다.

다만 연구 결과를 과도하게 일반화해서는 안 됩니다.

SpreadsheetBench에서는 강력한 전이가 확인됐지만 LiveMath에서는 전이 효과가 제한적이었습니다.

또한 모델 규모가 달라졌을 때도 유지율은 크게 달랐으며, 서로 다른 모델 계열 간 전이는 제공된 실험에서 검증되지 않았습니다.

따라서 현재 결과가 말하는 것은 모든 AI 스킬이 어디에서나 동일하게 작동한다는 것이 아니라, 특정 유형의 스킬은 모델과 실행 환경이 달라져도 상당한 수준의 재사용이 가능할 수 있다는 것입니다.

728x90

SkillOpt의 핵심은 AI 모델 자체를 다시 학습시키는 것이 아니라 AI 에이전트가 업무를 수행하는 방법을 담은 자연어 스킬을 최적화한다는 것입니다.

옵티마이저 모델은 실행 결과를 확인하고 Add, Delete, Replace 방식으로 스킬을 수정합니다. 이후 별도의 선택 데이터에서 실제 성능이 향상됐을 때만 변경사항을 받아들여 최종적으로 best_skill.md라는 텍스트 기반 아티팩트를 만듭니다.

모델 규모가 달라졌을 때는 전이 효과가 일정하지 않았습니다. GPT-5.4에서 GPT-5.4-mini로 이동한 SpreadsheetBench에서는 In-domain gain의 82%가 유지됐지만, GPT-5.4-nano에서는 16%에 그쳤습니다.

Codex와 Claude Code 사이에서도 결과의 차이가 확인됐습니다. SpreadsheetBench에서는 Codex에서 최적화한 스킬이 Claude Code에서 직접 최적화한 결과보다 높은 점수를 기록할 정도로 강력한 전이가 나타났습니다. 반면 LiveMath에서는 전이 효과가 제한적이었습니다.

이 결과에서 특히 주목할 부분은 스킬의 이식성은 스킬이 어떤 내용을 담고 있는지에 따라 달라질 수 있다는 점입니다.

구조를 확인하고, 수식을 검증하고, 결과를 확인하는 것처럼 업무 수행 절차를 정의하는 스킬은 실행 환경이 달라져도 활용될 가능성이 있습니다. 반면 추론에 더 크게 의존하는 스킬은 학습 환경에 더욱 종속될 수 있습니다.

결국 SkillOpt가 보여주는 가능성은 단순한 프롬프트 최적화를 넘어섭니다.

AI 에이전트의 업무 수행 방법을 텍스트 기반 아티팩트로 만들고, 이를 최적화하고, 다른 모델과 실행 환경으로 재사용하며, 사람이 직접 내용을 검토하고 변경 이력까지 추적할 수 있다는 것입니다.

AI 에이전트가 다양한 모델과 개발 환경으로 확장되는 상황에서 이러한 스킬의 이식성, 재사용성, 검토 가능성은 앞으로 AI 에이전트를 운영하는 중요한 요소가 될 수 있습니다.

300x250

https://www.marktechpost.com/2026/08/05/microsoft-skillopt-agent-skill-transfer-portability/

Microsoft's SkillOpt Shows Optimized Agent Skill Artifacts Transfer Across Model Scales and Between Codex and Claude Code Harnes