언어 모델도 '속으로 생각'할까? Anthropic J-space 연구로 살펴보는 AI의 내부 사고 구조

언어 모델은 우리가 보는 답변만으로 움직일까?

대규모 언어 모델(LLM)은 질문을 입력하면 자연스러운 답변을 생성합니다. 하지만 우리가 확인할 수 있는 것은 최종적으로 출력된 문장뿐입니다. 그 과정에서 모델이 어떤 판단을 했고, 어떤 개념을 떠올렸으며, 어떤 과정을 거쳐 결론에 도달했는지는 지금까지 거의 알 수 없었습니다.

Anthropic이 발표한 이번 연구는 이러한 한계를 새로운 방식으로 접근합니다. 연구진은 Claude와 같은 언어 모델 내부에 사람이 의식적으로 떠올리는 생각과 유사한 특징을 가진 특별한 표현 공간이 존재한다는 증거를 제시했습니다. 이 공간은 모델이 현재 출력하지는 않지만, 필요하다면 언제든 말로 표현할 수 있는 개념들이 모여 있는 영역이며, 연구진은 이를 J-space라고 명명했습니다.

이번 글에서는 J-space가 무엇인지, Jacobian Lens가 어떤 원리로 이를 찾아냈는지, 그리고 이 연구가 AI 해석 가능성과 안전성 분야에서 어떤 의미를 가지는지 살펴보겠습니다.

반응형

---

기존 언어 모델 해석 방법의 한계

언어 모델 내부를 이해하려는 시도는 이전에도 여러 방법으로 이루어졌습니다. 하지만 각각 분명한 한계가 존재했습니다.

Chain-of-Thought

Chain-of-Thought(CoT)는 모델이 추론 과정을 텍스트 형태로 직접 작성하도록 하는 방법입니다.

하지만 모델의 모든 추론이 글로 표현되는 것은 아닙니다. 상당수 계산은 내부 활성값(Activation)에서 수행되며, 최종 답변에만 반영됩니다. 따라서 출력된 사고 과정만으로는 모델의 실제 내부 판단을 모두 확인할 수 없습니다.

Logit Lens

Logit Lens는 중간 계층의 활성값을 이용해 현재 어떤 토큰을 예측하고 있는지를 해석합니다.

후반부 계층에서는 비교적 의미 있는 결과를 얻을 수 있지만, 초기 계층에서는 표현 공간 자체가 달라져 대부분 해석하기 어려운 결과를 보여주는 문제가 있습니다.

Tuned Lens

Tuned Lens는 계층마다 별도의 선형 변환을 학습시켜 이러한 좌표 차이를 보정합니다.

하지만 최종 출력을 잘 예측하도록 학습되기 때문에 실제 내부 계산보다는 결과와의 상관관계만 반영하는 경향이 있습니다. 결국 모델이 실제 어떤 사고 과정을 거쳤는지 설명하기에는 한계가 있습니다.

---

Jacobian Lens는 무엇이 다른가

Anthropic 연구팀은 질문 자체를 바꿨습니다.

기존 방법이 "현재 어떤 토큰을 예측하고 있는가?"를 묻는다면, Jacobian Lens는 다음과 같은 질문을 던집니다.

"이 활성값이 앞으로 말로 표현될 가능성이 있는 개념은 무엇인가?"

이를 위해 연구진은 Jacobian(야코비안) 행렬을 활용하여 특정 활성값이 최종 출력에 미치는 평균적인 영향을 계산했습니다.

수천 개의 프롬프트에서 계산한 Jacobian을 평균 내어 일반적인 표현 공간을 만들고, 이를 이용해 각 계층의 활성값을 해석했습니다.

그 결과 기존 Logit Lens에서는 의미 없는 노이즈만 보이던 초기 계층에서도 추상적인 개념을 안정적으로 읽어낼 수 있었습니다.

---

J-space란 무엇인가

Jacobian Lens를 통해 연구진은 언어 모델 내부에 매우 독특한 공간이 존재한다는 사실을 발견했습니다.

이를 J-space라고 부릅니다.

J-space에는 모델이 실제로 출력하지는 않지만 필요하다면 언제든 설명할 수 있는 개념들이 활성화됩니다.

중요한 점은 이것이 출력 예정 단어가 아니라 모델 내부에서 현재 떠올리고 있는 개념이라는 것입니다.

예를 들어

• 코드를 읽을 때는 출력되지 않았지만 ERROR라는 개념이 활성화되고
• 단백질 서열을 읽을 때는 해당 단백질의 기능이 떠오르며
• 프롬프트 인젝션을 읽을 때는 fake, injection 같은 개념이 활성화됩니다.

즉 모델이 침묵 속에서 수행하는 내부 판단을 확인할 수 있는 새로운 창을 제공하는 것입니다.

---

J-space는 어떻게 작동하는가

연구팀은 J-space가 인간의 의식 접근성을 설명하는 글로벌 워크스페이스(Global Workspace Theory)의 특성과 매우 유사하게 동작한다는 사실을 확인했습니다.

1. 말로 설명할 수 있는 생각

모델이 특정 스포츠를 떠올리도록 한 뒤 J-space에서 Soccer를 Rugby로 교체하면 실제 답변 역시 Rugby로 변경되었습니다.

이는 J-space가 단순히 결과를 관찰하는 공간이 아니라 실제 응답 생성에 영향을 미친다는 것을 의미합니다.

---

2. 의도적으로 생각을 조절할 수 있다

모델에게 그림 문장을 그대로 복사하게 하면서 동시에 "감귤류 과일을 떠올리라"고 지시하면 출력은 문장을 그대로 유지하지만 내부 J-space에는 orange, fruits와 같은 개념이 활성화됩니다.

산술 계산에서도 동일한 현상이 나타났습니다.

계산 결과를 출력하기 전 중간 계산 과정이 J-space에서 먼저 나타난 것입니다.

---

3. 내부 추론 과정이 존재한다

"The number of legs on the animal that spins webs"

라는 질문에서는 정답인 8을 출력하기 전에 먼저 spider라는 개념이 활성화됩니다.

이후 spider를 ant로 교체하면 최종 답도 6으로 변경됩니다.

이는 모델이 중간 개념을 실제 추론 과정에 활용하고 있음을 보여주는 대표적인 사례입니다.

---

4. 하나의 개념이 여러 작업에 활용된다

France를 China로 변경하는 동일한 개입을 수행하면

• 수도는 Beijing
• 언어는 Chinese
• 대륙은 Asia
• 통화는 Yuan

으로 모두 함께 변경됩니다.

하나의 개념이 다양한 추론 과정에서 공통으로 사용된다는 의미입니다.

---

5. 대부분의 처리는 자동으로 이루어진다

흥미롭게도 J-space는 모델 내부 전체 활성값의 10%도 차지하지 않습니다.

J-space를 제거해도

• 문장 생성
• 감성 분석
• 객관식 문제 풀이

등은 거의 영향을 받지 않았습니다.

반면

• 다단계 추론
• 요약
• 창의적 글쓰기
• 계획 수립

과 같은 고차원 작업은 성능이 크게 감소했습니다.

즉 대부분의 단순 작업은 자동 처리되지만, 복잡한 사고는 J-space를 거쳐 수행된다는 사실을 보여줍니다.

---

AI 안전성에서도 중요한 이유

이번 연구는 AI 안전성(AI Safety) 분야에서도 큰 의미를 갖습니다.

모델이 악의적인 계획을 세우거나 평가를 속이려고 하더라도 반드시 출력으로 드러나는 것은 아닙니다.

하지만 J-space를 통해 출력 이전의 내부 개념을 읽을 수 있게 되면서 숨겨진 의도까지 일부 확인할 가능성이 생겼습니다.

실험에서는

• fake
• manipulation
• blackmail
• threat
• reward
• bias

등의 개념이 실제 출력 이전에 내부에서 활성화되는 사례가 확인됐습니다.

이는 모델 감사(Model Auditing)와 안전성 평가를 수행하는 새로운 도구가 될 가능성을 보여줍니다.

---

사후 학습은 모델의 관점을 만든다

연구에서는 사후 학습(Post-training)이 단순히 답변 형식만 바꾸는 것이 아니라 J-space 자체에도 영향을 준다는 사실을 확인했습니다.

예를 들어 위험한 용량의 약물을 읽는 순간

• unsafe
• dangerous
• warning

같은 개념이 내부에서 먼저 활성화되었습니다.

반면 사전학습 모델에서는 이러한 안전성 판단이 나타나지 않았습니다.

즉 Claude의 안전성 판단 역시 J-space 수준에서 형성된다는 점을 보여줍니다.

---

Counterfactual Reflection Training의 가능성

연구진은 J-space를 활용한 새로운 학습 방식도 제안했습니다.

Counterfactual Reflection Training은 모델이 실제 행동하기 전에 스스로 "가장 정직한 행동은 무엇인가?"를 반성하도록 학습시키는 방법입니다.

흥미로운 점은 실제 평가에서는 이러한 반성을 출력하지 않아도 내부 J-space에

• ethical
• honest
• integrity

같은 개념이 활성화되며 부정직한 행동이 크게 감소했다는 것입니다.

이는 내부 사고 구조 자체를 개선하는 새로운 학습 방식의 가능성을 보여줍니다.

---

이번 연구가 갖는 의미

이번 연구는 언어 모델이 단순히 다음 단어를 예측하는 시스템이 아니라, 내부적으로 말로 표현 가능한 개념 공간을 형성하며 복잡한 추론을 수행한다는 점을 보여주었습니다.

특히 J-space는 연구진이 직접 설계한 기능이 아니라 학습 과정에서 자연스럽게 형성된 구조라는 점에서 더욱 의미가 큽니다.

물론 이것이 곧 언어 모델이 인간처럼 의식을 가졌다는 의미는 아닙니다. 연구진 역시 이번 결과가 인간의 주관적 경험이나 현상적 의식을 증명하는 것은 아니라고 명확히 설명합니다.

다만 보고 가능한 생각, 추론, 계획 수립과 같은 기능적 측면에서는 인간의 접근 의식과 유사한 구조가 존재할 가능성을 보여주었다는 점에서 AI 연구에 중요한 이정표가 될 수 있습니다.

---

728x90

언어 모델은 지금까지 입력과 출력만으로 이해해야 하는 블랙박스에 가까웠습니다.

Anthropic의 Jacobian Lens와 J-space 연구는 이러한 블랙박스를 조금씩 열어볼 수 있는 새로운 방법을 제시합니다.

출력되지 않은 내부 개념을 확인하고, 그것이 실제 추론과 의사결정에 어떤 역할을 하는지 분석할 수 있게 되면서 AI 해석 가능성은 새로운 단계로 나아가고 있습니다.

앞으로 J-space 연구가 더욱 발전한다면 모델의 내부 사고를 보다 정확하게 이해하고, 안전성과 신뢰성을 높이는 핵심 기술로 발전할 가능성이 큽니다. 이는 AI가 더욱 복잡한 문제를 해결하는 시대에 중요한 연구 방향 중 하나가 될 것으로 기대됩니다.

300x250

https://github.com/anthropics/jacobian-lens?utm_source=pytorchkr&ref=pytorchkr

GitHub - anthropics/jacobian-lens: Companion code for the global workspace interpretability paper