[프롬프트 엔지니어링] Chain-of-Thought (CoT) Prompting란 무엇인가?

Chain-of-Thought (CoT) prompting은 언어 모델이 복잡한 추론 작업을 수행할 때 중간 단계의 추론 과정을 명시적으로 보여주는 기술입니다. 이는 모델이 단계를 밟아가며 문제를 해결하도록 유도하여 정확성을 높이는 방법입니다. 전문가의 관점에서 Chain-of-Thought prompting의 주요 요소와 장점을 다음과 같이 정리할 수 있습니다:

이미지 출처:  Wei et al. (2022)

 

개념과 원리

• 추론 과정의 시각화: CoT는 모델이 문제를 해결하는 데 필요한 중간 추론 단계를 명시적으로 작성하도록 유도합니다. 이는 사람의 사고 과정과 유사하며, 단계별로 문제를 해결하는 방식입니다.
• 복잡한 문제 해결: 특히 복잡한 수학 문제, 논리 퍼즐, 다단계 추론이 필요한 질문 등에 유용합니다. 단계별 접근은 모델이 각 단계에서 필요한 정보를 정확하게 추출하고 사용하게 합니다.

구현 방법

• 프롬프트 설계: 프롬프트를 설계할 때, 사용자는 모델이 따라야 할 논리적 단계를 명확히 제시합니다. 예를 들어, 수학 문제를 풀 때 각 단계를 나누어 설명하거나, 논리적 사고가 필요한 문제의 경우 단계별로 사고 과정을 기술합니다.
• 예제 사용: 모델에게 Chain-of-Thought 방식을 가르칠 때는 몇 가지 예제를 통해 단계별로 문제를 해결하는 과정을 보여줍니다. 이러한 예제는 모델이 새로운 문제를 만났을 때 유사한 방법으로 접근할 수 있도록 돕습니다.

장점

구분	내용
정확성 향상	단계별 접근은 모델이 오류를 줄이고 최종 답변의 정확성을 높이는 데 도움을 줍니다. 각 단계에서 검토와 수정을 할 수 있기 때문입니다.
투명성 증가	모델이 문제를 해결하는 과정을 명확히 볼 수 있어, 결과에 대한 신뢰성을 높입니다. 이는 특히 디버깅이나 결과를 검증할 때 유용합니다.
복잡한 문제 해결 능력 강화	단순한 정답을 찾는 것뿐 아니라, 복잡한 문제를 논리적으로 풀어가는 능력을 강화시킵니다. 이는 교육 분야나 연구 등 다양한 분야에서 활용될 수 있습니다.

 

예시

수학 문제를 예로 들어보겠습니다.

문제: 12와 8의 최대공약수를 구하라.

기존의 프롬프트:

12와 8의 최대공약수를 구해줘.

Chain-of-Thought 프롬프트:

12와 8의 최대공약수를 구하려면 다음 단계를 따릅니다:
1. 12와 8의 약수를 모두 나열합니다.
2. 공통 약수를 찾습니다.
3. 공통 약수 중 가장 큰 값을 선택합니다.

1단계: 12의 약수는 1, 2, 3, 4, 6, 12 입니다. 8의 약수는 1, 2, 4, 8 입니다.
2단계: 공통 약수는 1, 2, 4 입니다.
3단계: 공통 약수 중 가장 큰 값은 4 입니다.
따라서, 12와 8의 최대공약수는 4 입니다.

주의 사항

• 프롬프트의 길이: CoT 프롬프트는 일반적으로 더 길기 때문에, 모델이 처리할 수 있는 입력 길이를 초과하지 않도록 주의해야 합니다.
• 복잡성 관리: 너무 복잡한 CoT는 오히려 모델을 혼란스럽게 할 수 있으므로, 적절한 수준의 세분화가 필요합니다.

Chain-of-Thought prompting은 복잡한 문제를 논리적으로 해결하는 데 매우 유용한 도구이며, 프롬프트 엔지니어링의 중요한 기술 중 하나입니다. 이를 통해 모델의 추론 능력을 강화하고, 더 정확하고 신뢰성 있는 결과를 얻을 수 있습니다.