[프롬프트 엔지니어] Self-Consistency(자기 일관성) 개념 정리!

개념 및 컨셉 배경

Self-Consistency는 프롬프트 엔지니어링에서 AI 모델의 응답의 일관성을 유지하고 개선하는 기법입니다. 기본적으로, Self-Consistency는 모델이 동일한 입력에 대해 여러 번의 출력을 생성하고, 이러한 출력을 비교하여 가장 일관성 있고 신뢰할 수 있는 응답을 선택하는 방식으로 작동합니다. 이 기법은 특히 복잡하거나 모호한 질문에 대해 신뢰할 수 있는 답변을 얻기 위해 사용됩니다.

기반 기술

Self-Consistency의 기반 기술은 다음과 같습니다:

1. 다양한 출력 생성: 모델이 동일한 프롬프트에 대해 여러 번의 응답을 생성합니다. 이를 통해 모델이 다양한 관점이나 방법으로 질문에 접근할 수 있습니다.
2. 응답 비교 및 평가: 생성된 여러 응답을 비교하여 가장 일관성 있고 신뢰할 수 있는 응답을 선택합니다. 이는 종종 후처리 단계에서 수행되며, 통계적 방법이나 평가 메트릭을 사용할 수 있습니다.

예시

다음은 Self-Consistency를 적용한 프롬프트 엔지니어링 예시입니다.

예시 프롬프트: "Explain the process of photosynthesis."

1. 다양한 출력 생성
   • 모델이 동일한 질문에 대해 여러 번 응답을 생성합니다:
     • 출력 1: "Photosynthesis is the process by which green plants and some other organisms use sunlight to synthesize foods with the help of chlorophyll."
     • 출력 2: "Photosynthesis involves the conversion of light energy into chemical energy, stored in glucose, with the release of oxygen."
     • 출력 3: "In photosynthesis, plants absorb sunlight and carbon dioxide to produce glucose and oxygen, primarily occurring in the chloroplasts."
2. 응답 비교 및 평가
   • 여러 응답 중에서 가장 일관성이 높고 신뢰할 수 있는 응답을 선택합니다. 이 단계에서 다음과 같은 방법을 사용할 수 있습니다:
     • 내용적 일관성: 여러 응답이 동일한 핵심 정보를 포함하는지 확인합니다.
     • 정보의 정확성: 과학적 사실이나 지식을 기반으로 한 정확성을 평가합니다.
     • 간결성 및 명료성: 응답이 간결하고 명료한지 평가합니다.

최종 선택된 응답: "Photosynthesis is the process by which green plants and some other organisms use sunlight to synthesize foods with the help of chlorophyll. This involves converting light energy into chemical energy stored in glucose, with the release of oxygen."

적용 분야

Self-Consistency는 다음과 같은 다양한 분야에 적용될 수 있습니다:

• 교육: 복잡한 개념을 설명할 때 일관성 있는 정보를 제공하여 학습자의 이해를 돕습니다.
• 의료: 진단이나 치료 방법에 대한 일관성 있는 정보를 제공하여 신뢰성을 높입니다.
• 법률: 법률 자문이나 법적 문서 작성 시 일관된 정보를 제공하여 정확성을 보장합니다.

결론

Self-Consistency는 프롬프트 엔지니어링에서 모델의 응답 신뢰성을 높이는 중요한 기법입니다. 이를 통해 다양한 출력을 비교하고 평가함으로써 가장 일관성 있고 신뢰할 수 있는 정보를 제공할 수 있습니다. 이 기법은 교육, 의료, 법률 등 다양한 분야에서 활용될 수 있으며, 복잡한 문제를 해결하는 데 있어 큰 도움이 됩니다.

참고 논문 : https://arxiv.org/pdf/2203.11171