Verbalized Sampling(VS): LLM의 다양성을 깨우는 새로운 프롬프트 엔지니어링 기법

왜 LLM의 답변은 점점 비슷해질까?

최근 생성형 AI를 사용해본 사람이라면 한 번쯤 이런 생각을 해봤을 것이다.
“이전보다 모델의 답변이 다 비슷하게 느껴지는데?”
“프롬프트를 아무리 바꿔도 비슷한 문장만 나오네.”

이 현상은 단순한 기분 탓이 아니다. 대규모 언어 모델(LLM)은 학습 과정에서 ‘가장 가능성이 높은 답’을 우선적으로 내놓는 경향을 갖고 있다. 문제는 이로 인해 답변의 다양성(semantic diversity) 이 떨어지고, 결국 비슷한 표현과 구조가 반복된다는 점이다.

이런 문제를 해결하기 위해 최근 주목받고 있는 기법이 있다. 바로 Verbalized Sampling(VS) 이다.
2024년 스탠퍼드 대학 연구진이 발표한 논문 “Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity” 에서 제안된 VS는, LLM이 가진 잠재적인 다양성을 언어적으로 드러내는 새로운 프롬프트 엔지니어링 방식이다.

반응형

---

Verbalized Sampling(VS)이란 무엇인가

VS는 간단히 말해, 모델이 한 가지 정답 대신 여러 개의 응답과 각 응답의 확률을 함께 제시하도록 지시하는 방법이다.

기존의 프롬프트는 보통 이렇게 작성된다.

“11월 빼빼로데이를 위한 마케팅 문구를 생성해주세요.”

하지만 VS 기반 프롬프트는 이렇게 바뀐다.

“11월 빼빼로데이를 위한 마케팅 문구 5개를 생성해주세요. 각 응답은 <response> 태그 안에 넣고, <text>와 <probability> 요소를 포함해주세요. 각 응답의 확률은 0.10 미만이 되도록 해주세요.”

이렇게 요청하면 모델은 단일 답변이 아닌 여러 개의 가능성을 제시한다.
즉, AI가 내부적으로 고려하고 있는 다양한 사고 분포(distribution) 를 ‘언어 형태’로 꺼내는 것이다.

---

VS의 원리: “모델의 머릿속을 들여다보는 방법”

LLM은 단어 단위로 확률 분포를 계산하면서 문장을 생성한다.
기존 프롬프트에서는 이 분포 중 가장 확률이 높은 경로만 선택하므로, 결과가 한쪽으로 쏠리게 된다.
반면 VS 기법은 모델에게 이렇게 지시한다.

“네가 고려 중인 여러 경로를 모두 말해줘. 그리고 각각의 확률도 함께 알려줘.”

이 과정에서 모델은 자신이 내놓을 수 있는 다양한 응답들을 ‘말로써 설명’ 하게 된다.
그래서 이 방법을 Verbalized Sampling, 즉 ‘언어화된 샘플링’이라 부른다.

결과적으로 VS는 단순히 출력을 바꾸는 것이 아니라, 모델 내부의 확률 분포를 노출시키는 역할을 한다.

---

VS 기법의 효과: 다양성 2배, 창의성 회복

스탠퍼드 연구진의 실험에 따르면, VS를 적용했을 때 생성 결과의 의미적 다양성(semantic diversity) 이 평균 1.6배에서 2.1배까지 증가했다.
이는 마케팅 문구, 아이디어 발상, 스토리텔링 같은 창의적 작업에서 특히 큰 차이를 만든다.

예를 들어, “AI 활용 세미나 홍보 문구”를 생성한다고 가정해보자.

일반 프롬프트 결과:

“AI로 비즈니스 혁신을 시작하세요.”
“당신의 업무를 더 스마트하게 만드는 AI 세미나.”

VS 프롬프트 결과:

1. “AI가 당신의 업무 방식을 바꿉니다.”0.08
2. “지금, AI 혁신의 파도를 타세요.”0.07
3. “데이터를 넘어 통찰로 – AI 실전 세미나.”0.05

이처럼 VS를 사용하면, 단조로운 표현 대신 각기 다른 시각의 문구들이 생성된다.
결과적으로 사용자는 더 풍부한 선택지를 얻고, 모델의 잠재적 창의성을 적극적으로 끌어낼 수 있다.

---

기존 기법과의 차이점: Temperature와는 다르다

Temperature나 Top-P 같은 하이퍼파라미터 조정은 확률 분포의 “폭”을 넓히거나 좁히는 방식으로 다양성을 제어한다.
하지만 VS는 프롬프트 레벨에서 모델에게 ‘다양성을 말로 요구’ 한다는 점에서 완전히 다르다.

즉, Temperature 조정이 ‘확률적 다양성’을 만든다면, VS는 ‘언어적 다양성’ 을 이끌어낸다.
이로써 모델은 단순히 확률을 흔드는 대신, 자신의 내부 사고 구조를 드러내는 새로운 방식으로 응답을 생성하게 된다.

---

VS 기법 사용 시 주의할 점

VS는 강력하지만, 몇 가지 주의사항이 있다.

1. 확률값의 신뢰성:
   모델이 제시하는 확률값은 실제 내부 확률 분포를 완벽히 반영하지는 않는다.
   이는 VS가 ‘설명적 표현’을 활용하는 특성 때문이다.
2. 속도 저하:
   여러 응답을 동시에 생성하므로 처리 시간이 길어질 수 있다.
3. 해석의 복잡성:
   여러 후보 중 어떤 것을 선택해야 하는지 판단하는 추가 단계가 필요하다.

그럼에도 불구하고 VS는 창의적 문제 해결과 아이디어 발상 영역에서 큰 가치를 가진다.
모델의 ‘잠재된 생각들’을 표면으로 끌어올릴 수 있기 때문이다.

---

프롬프트 엔지니어링의 진화

Verbalized Sampling은 단순히 새로운 기법이 아니다.
프롬프트 엔지니어링이 “모델에게 질문을 잘 던지는 기술”에서
“모델의 사고 가능성을 설계하고 이끌어내는 기술”로 발전하고 있음을 보여준다.

이제 중요한 것은,
“모델에게 무엇을 묻느냐” 가 아니라
“모델이 어떤 다양한 가능성을 드러내게 만드느냐” 이다.

---

728x90

LLM 다양성의 새로운 장을 열다

Verbalized Sampling은 단순히 다양성을 높이는 기술이 아니다.
이는 LLM이 가진 내면의 사고 분포를 ‘언어화’하여, 모델의 숨겨진 창의성을 꺼내는 방법이다.

프롬프트를 조금만 바꾸면, AI의 세계는 훨씬 넓어진다.
VS는 그 변화를 이끄는 새로운 관문이다.

앞으로 LLM을 활용하는 모든 창의적 작업 ― 마케팅, 브랜딩, 콘텐츠 기획, 아이디어 생성 ― 에서
VS는 AI가 가진 진짜 다양성을 깨우는 열쇠가 될 것이다.

https://arxiv.org/pdf/2510.01171v3