SkillSmith, 텍스트 지식과 파라미터 기술을 결합하는 LLM 에이전트 아키텍처

LLM 기반 에이전트가 다양한 작업을 수행하려면 단순히 많은 지식을 알고 있는 것만으로는 부족합니다. 특정 작업을 실제로 수행할 수 있는 능력, 즉 파라미터에 학습된 기술을 적절하게 활용하고 새로운 작업에 맞춰 조합하는 능력도 중요합니다.

기존 접근 방식에서는 텍스트로 표현되는 지식과 모델의 파라미터에 담긴 기술을 서로 다른 영역으로 다루는 경우가 많았습니다. SkillSmith는 이 둘을 하나의 흐름으로 연결합니다. 특히 모델의 가중치 자체를 LLM이 다룰 수 있는 하나의 입력 모달리티로 바라보고, 기존에 학습된 여러 기술을 새로운 작업에 맞게 합성하는 구조를 제안합니다.

이 글에서는 SkillSmith가 어떤 방식으로 텍스트 지식과 파라미터 기반 기술을 통합하는지, 기존 가중치 병합 방식과 무엇이 다른지, 그리고 SNI와 MMLU-ProX 등의 실험에서 어떤 결과를 보여줬는지 살펴보겠습니다.

반응형

SkillSmith가 주목하는 문제, 지식과 기술은 다르다

LLM이 가진 정보를 크게 나누면 텍스트를 통해 표현할 수 있는 지식과 모델의 파라미터에 학습된 기술로 구분할 수 있습니다.

예를 들어 특정 개념에 대한 설명이나 작업 지침은 텍스트로 전달할 수 있습니다. 반면 특정 작업을 수행하는 능력은 모델의 파라미터에 학습된 형태로 존재할 수 있습니다.

문제는 이 두 가지를 새로운 작업에서 함께 활용하는 방법입니다.

기존 연구에서는 텍스트 기반 지식과 파라미터 기반 기술을 별도의 영역으로 다루는 경향이 있었습니다. SkillSmith는 이러한 구분에서 벗어나 모델의 가중치 역시 LLM이 처리할 수 있는 하나의 입력 정보로 취급합니다.

즉, 텍스트만 읽고 새로운 작업을 판단하는 것이 아니라 기존에 학습된 기술 자체를 입력으로 받아 새로운 작업에 적합한 기술을 만들어내는 방향입니다.

이 관점에서 SkillSmith의 핵심은 단순한 가중치 결합이 아니라 파라미터 기반 기술을 이해하고 새로운 목적에 맞게 합성하는 것이라고 볼 수 있습니다.

SkillSmith의 핵심 구조는 어떻게 구성될까

SkillSmith는 파라미터 기반 기술을 다루기 위해 prefix-tuning을 활용합니다.

여기서 각각의 기술은 KV-cache 형태로 표현됩니다. 이 KV-cache는 SkillSmith가 기존에 학습된 기술을 다루기 위한 파라미터 기반 표현으로 사용됩니다.

SkillSmith의 입력에는 크게 두 종류의 정보가 들어갑니다.

하나는 소스 태스크에 대한 텍스트 설명입니다. 다른 하나는 해당 소스 태스크에서 학습된 파라미터 기반 기술입니다.

SkillSmith는 이 두 정보를 서로 분리해서 처리하지 않습니다. 제어 토큰을 사용해 텍스트 설명과 KV-cache를 하나의 시퀀스 안에 배치하고, 이를 함께 처리할 수 있도록 구성합니다.

결과적으로 LLM은 단순히 다음과 같은 질문을 받는 것이 아닙니다.

“이 텍스트 설명을 보고 어떤 작업인지 판단해보라.”

그보다 한 단계 확장해,

“이 작업에 대한 설명과 이 작업을 수행할 수 있도록 학습된 기술을 함께 보고, 새로운 작업에 필요한 기술을 만들어보라.”

라는 형태로 접근할 수 있게 됩니다.

KV-cache를 활용해 파라미터 기술을 표현한다

SkillSmith에서 중요한 요소 중 하나가 KV-cache입니다.

모델이 특정 작업을 수행하는 데 필요한 파라미터 기반 기술을 KV-cache 형태로 표현하고, 이를 텍스트 정보와 함께 처리합니다.

다만 KV-cache를 그대로 LLM의 입력 공간에 넣는 것은 어렵습니다. 그래서 SkillSmith는 Input K-V Adapter라는 MLP를 활용합니다.

Input K-V Adapter는 입력된 KV-cache를 LLM이 처리할 수 있는 잠재 공간으로 투영하는 역할을 합니다.

이를 통해 텍스트와 파라미터 기반 기술을 하나의 처리 과정에서 연결할 수 있습니다.

쉽게 표현하면 다음과 같은 흐름입니다.

기존 태스크의 텍스트 설명 + 기존 태스크의 파라미터 기술 → LLM이 처리할 수 있는 통합 표현

이 구조가 SkillSmith가 텍스트와 파라미터를 함께 다루는 기반이 됩니다.

새로운 기술을 만드는 과정에는 Combination Text가 사용된다

SkillSmith가 단순히 여러 기술을 섞는 방식과 다른 이유는 텍스트 정보도 함께 사용한다는 점입니다.

여기서 Combination Text가 중요한 역할을 합니다.

Combination Text는 소스 태스크와 대상 태스크 사이의 관계를 설명하는 정보로 사용됩니다.

예를 들어 여러 소스 태스크에서 학습된 기술이 있다고 가정해보겠습니다.

각 기술을 단순하게 합치는 것이 아니라, 현재 해결하려는 대상 태스크와 기존 태스크가 어떤 관계에 있는지 텍스트로 전달합니다.

이를 통해 SkillSmith는 단순히 “기술 A와 기술 B를 합쳐라”라는 방식이 아니라, 어떤 기술을 새로운 작업에 맞게 조합해야 하는지에 대한 맥락을 함께 고려할 수 있습니다.

이러한 구조는 SkillSmith가 텍스트 지식과 파라미터 기반 기술을 동시에 활용하는 핵심적인 부분입니다.

Coprocessor LLM이 새로운 파라미터 기술을 생성한다

SkillSmith에서는 Coprocessor LLM으로 Gemma 3 4B가 사용됩니다.

이 모델은 입력된 텍스트 정보와 파라미터 기반 기술을 처리하고, 새로운 태스크에 맞는 KV-cache를 직접 생성합니다.

과정을 단순하게 정리하면 다음과 같습니다.

소스 태스크 정보 입력

→ 소스 태스크의 텍스트 설명과 KV-cache 결합

→ Input K-V Adapter를 통해 파라미터 정보를 잠재 공간으로 변환

→ Combination Text를 통해 소스 태스크와 대상 태스크의 관계 전달

→ Coprocessor LLM이 정보 처리

→ 새로운 대상 태스크에 적합한 KV-cache 생성

즉, SkillSmith는 기존 파라미터를 단순하게 더하거나 평균내는 것이 아니라 LLM의 추론 과정을 통해 새로운 파라미터 기반 기술을 생성합니다.

생성된 KV-cache는 최종 기술로 변환된다

Coprocessor LLM이 새로운 KV-cache를 생성했다고 해서 바로 최종 결과가 만들어지는 것은 아닙니다.

생성 과정에서 포함된 위치 정보를 제거하는 과정이 필요하며, 이후 Out K-V Adapter를 거쳐 최종적으로 활용할 수 있는 가중치가 만들어집니다.

전체적으로 보면 SkillSmith는 입력과 출력 양쪽에 Adapter를 두고 있습니다.

Input K-V Adapter

기존의 파라미터 기반 기술을 LLM이 이해할 수 있는 잠재 공간으로 변환합니다.

Coprocessor LLM

텍스트 설명과 기존 기술을 함께 분석해 대상 태스크에 필요한 새로운 기술을 생성합니다.

Out K-V Adapter

LLM이 생성한 결과를 실제 활용 가능한 최종 파라미터 형태로 변환합니다.

이 구조를 통해 SkillSmith는 모델의 파라미터를 단순히 저장하고 사용하는 데서 벗어나, 새로운 작업에 맞춰 재구성할 수 있는 대상으로 취급합니다.

기존 가중치 병합 방식과 SkillSmith의 차이

기존에는 여러 태스크에서 학습된 가중치를 결합하기 위해 LERP, Concat, SVD 등의 방법을 사용할 수 있습니다.

이러한 방식은 여러 파라미터를 하나로 결합한다는 점에서 의미가 있지만, SkillSmith가 바라보는 접근 방식과는 차이가 있습니다.

기존 방식이 여러 가중치를 직접 결합하는 데 초점을 맞춘다면, SkillSmith는 텍스트 정보와 파라미터 기반 기술을 함께 보고 새로운 기술을 생성하는 것에 초점을 맞춥니다.

따라서 SkillSmith에서는 단순히 어떤 가중치를 얼마나 섞을지 결정하는 것이 핵심이 아닙니다.

대상 태스크가 무엇인지, 기존 태스크와 어떤 관계가 있는지, 기존 기술 중 어떤 정보가 새로운 작업에 유용한지를 함께 고려하는 구조를 갖습니다.

이 차이가 SkillSmith가 기존 가중치 병합 방식과 구분되는 핵심적인 특징입니다.

SkillSmith는 실제 환경에서 어떻게 기술을 선택할까

현실적인 환경에서는 어떤 태스크가 현재 작업에 도움이 될지 미리 정확하게 알고 있기 어렵습니다.

이를 고려해 SkillSmith는 SNI와 MMLU-ProX 환경에서 2단계 검색 파이프라인을 활용합니다.

첫 번째 단계에서는 Semantic Retrieval을 사용해 현재 대상 태스크와 의미적으로 관련성이 높은 소스 태스크를 찾습니다.

이후 LLM Selection을 통해 검색된 후보 가운데 실제로 활용할 태스크를 선택합니다.

정리하면 다음과 같은 과정입니다.

대상 태스크 확인

→ 의미적으로 관련된 소스 태스크 검색

→ LLM을 활용한 후보 선택

→ 선택된 파라미터 기반 기술과 텍스트 정보 결합

→ SkillSmith가 대상 태스크에 적합한 기술 생성

이 방식은 미리 정해진 기술만 사용하는 것이 아니라 현재 작업과 관련된 기술을 찾아 활용한다는 점에서 실제 에이전트 환경을 고려한 접근이라고 볼 수 있습니다.

Composite-SNI에서 기술 합성 능력을 검증하다

SkillSmith의 성능은 Composite-SNI 환경에서도 평가됐습니다.

Composite-SNI는 Super-Natural Instructions, 즉 SNI를 기반으로 두 개의 소스 태스크를 결합해 합성 태스크를 구성한 환경입니다.

이 환경에서는 소스 태스크와 대상 태스크 사이의 관계가 명확하게 주어지기 때문에, 여러 기술을 새로운 작업에 맞게 합성하는 능력을 평가하기에 적합합니다.

SkillSmith는 이 환경에서 기존 가중치 병합 방식보다 높은 성능을 보여줬습니다.

이는 단순히 여러 파라미터를 결합하는 것보다 텍스트 정보와 파라미터 기반 기술을 함께 활용해 새로운 기술을 합성하는 방식이 효과적일 수 있음을 보여주는 결과입니다.

SNI와 MMLU-ProX에서 확인된 성능

SkillSmith는 실제적인 환경을 고려한 SNI 및 MMLU-ProX에서도 평가됐습니다.

이 환경에서는 소스 태스크와 대상 태스크의 관계가 명확하게 주어지지 않기 때문에, 앞서 설명한 Semantic Retrieval과 LLM Selection 기반의 검색 파이프라인을 활용합니다.

실험 결과 SkillSmith는 기존의 LERP, Concat, SVD와 같은 가중치 병합 방식보다 뛰어난 성능을 보였습니다.

또한 텍스트만 활용하는 접근법보다도 우수한 결과를 보이며, 텍스트 정보와 파라미터 기반 기술을 함께 활용하는 것이 새로운 태스크를 해결하는 데 효과적일 수 있음을 보여줬습니다.

파인튜닝 초기화에도 효과적인 SkillSmith

SkillSmith의 활용 가치는 단순히 새로운 파라미터 기술을 생성하는 데서 끝나지 않습니다.

SkillSmith가 생성한 prefix 가중치를 초기값으로 사용해 파인튜닝을 진행하면, 단순한 ICL 기반 방식이나 기존 접근법보다 빠른 수렴과 높은 성능을 보였습니다.

이는 SkillSmith가 만들어낸 기술이 단순히 최종 결과를 얻기 위한 수단만이 아니라, 이후 모델을 추가 학습할 때 사용할 수 있는 효과적인 초기화 도구가 될 가능성을 보여줍니다.

쉽게 말하면 새로운 작업을 처음부터 학습시키는 대신, 기존 기술을 바탕으로 새로운 작업에 적합한 출발점을 만들어주는 것입니다.

이러한 특성은 다양한 태스크를 빠르게 처리해야 하는 LLM 에이전트 환경에서 중요한 의미를 가질 수 있습니다.

학습하지 않은 태스크 조합에서도 일반화 가능성을 보여줬다

SkillSmith에서 또 하나 주목할 부분은 일반화 능력입니다.

메타 학습 과정에서 직접 경험하지 않은 소스 태스크 조합에 대해서도 높은 Elo rating을 유지하는 결과를 보였습니다.

이는 SkillSmith가 단순히 학습 과정에서 봤던 특정 태스크 조합을 기억하는 것이 아니라, 텍스트와 파라미터 기반 기술 사이의 관계를 학습하고 이를 새로운 조합에 적용할 가능성을 보여주는 결과입니다.

즉, 이미 존재하는 기술을 그대로 재사용하는 수준을 넘어 새로운 작업을 위해 기존 기술을 재구성하는 방향으로 확장될 수 있다는 의미입니다.

SkillSmith가 보여주는 새로운 LLM 에이전트의 방향

SkillSmith의 가장 중요한 의미는 LLM이 무엇을 알고 있는가와 무엇을 할 수 있는가를 하나의 구조에서 다룬다는 점에 있습니다.

텍스트는 지식과 작업의 관계를 설명합니다.

파라미터는 특정 작업을 수행하기 위한 기술을 담고 있습니다.

SkillSmith는 이 둘을 함께 처리해 새로운 작업에 필요한 기술을 합성합니다.

이를 개념적으로 정리하면 다음과 같습니다.

텍스트 지식

→ 작업과 기술의 관계를 설명

파라미터 기반 기술

→ 실제 작업 수행에 필요한 능력을 제공

SkillSmith

→ 텍스트와 기술을 함께 분석하고 새로운 태스크에 맞는 기술을 합성

이러한 구조는 LLM 에이전트가 단순히 외부 정보를 검색하거나 프롬프트를 조정하는 것을 넘어, 자신이 활용할 수 있는 기술 자체를 구성하고 재구성하는 방향으로 발전할 가능성을 보여줍니다.

728x90

SkillSmith는 LLM 기반 에이전트에서 텍스트 지식과 파라미터 기반 기술을 통합하기 위한 새로운 아키텍처입니다.

핵심은 모델의 가중치를 단순한 내부 구성 요소로만 보는 것이 아니라, LLM이 직접 처리하고 추론할 수 있는 하나의 입력 모달리티로 취급한다는 데 있습니다.

Prefix-tuning과 KV-cache를 활용해 파라미터 기반 기술을 표현하고, 텍스트 설명과 함께 이를 처리합니다. 이후 Coprocessor LLM이 대상 태스크에 적합한 새로운 KV-cache를 생성하고, 이를 최종 파라미터 형태로 변환합니다.

실험에서는 Composite-SNI와 SNI, MMLU-ProX 환경을 통해 기존 가중치 병합 방식과 텍스트 전용 접근법을 넘어서는 성능을 확인했습니다. 또한 SkillSmith가 생성한 prefix 가중치를 파인튜닝 초기화에 활용했을 때 수렴 속도와 성능 측면에서도 이점을 보였으며, 학습 과정에서 보지 못한 태스크 조합에서도 높은 일반화 성능을 보여줬습니다.

결국 SkillSmith가 제시하는 방향은 명확합니다.

LLM이 ‘무엇을 아는가’뿐 아니라 ‘무엇을 할 수 있는가’를 이해하고, 기존에 가진 기술을 새로운 작업에 맞게 조합할 수 있도록 만드는 것입니다.

이는 앞으로 LLM 에이전트가 고정된 능력을 사용하는 시스템에서 벗어나, 주어진 작업에 따라 필요한 기술을 선택하고 합성하는 적응형 시스템으로 발전하는 데 중요한 관점을 제시합니다.

특히 모델의 파라미터를 능동적으로 읽고 활용하는 접근이 발전한다면, LLM 에이전트가 여러 기술을 단순히 보유하는 것을 넘어 상황에 따라 기술을 재구성하는 방향으로 확장될 가능성도 기대할 수 있습니다.

300x250

https://arxiv.org/abs/2607.27497

SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge