“AI가 쓴 논문이 학회 리뷰를 통과했다고?” Sakana의 실험이 던지는 의미와 한계

 

AI가 논문을 썼다고요? 진짜 과학이 될 수 있을까요?

“AI가 논문을 썼고, 동료 평가까지 통과했다.”
이 한 문장만 보면, 마치 인공지능이 과학 연구의 한 축으로 떠오른 듯 보입니다. 실제로 일본의 AI 스타트업 Sakana는 자사의 인공지능이 작성한 논문이 세계적인 인공지능 학회 ICLR 워크숍에서 동료 평가(peer review)를 통과했다고 밝혔습니다.

하지만 이 이야기를 곱씹어 보면, 그렇게 간단한 문제가 아닙니다. 정말 AI가 혼자 논문을 쓴 걸까요? 아니면 인간이 일부러 잘 써보이게 만든 걸까요? 이 논문은 진짜 과학계에 기여할 수 있는 수준일까요?

이 블로그에서는 Sakana의 실험이 의미하는 바, AI가 과학 연구에서 할 수 있는 역할, 그리고 기술의 한계와 윤리적 고민까지 꼼꼼히 살펴보겠습니다.

반응형

---

🏢 Sakana와 ‘AI Scientist-v2’: 인공지능으로 논문 쓰기 실험

Sakana란 어떤 회사인가요?

Sakana는 일본에 본사를 둔 AI 스타트업으로, AI의 창의성(Creativity)과 문제 해결 능력을 실험적으로 탐구하는 기업입니다. 특히, 사람처럼 사고하고 연구하는 AI 개발에 주력하고 있죠.

AI Scientist-v2란?

이번 논문 실험에 사용된 도구는 Sakana가 개발한 **‘AI Scientist-v2’**라는 시스템입니다. 이름 그대로 “과학자처럼 행동하는 AI”를 지향하며, 논문을 처음부터 끝까지 전자동으로 생성할 수 있는 기능을 탑재했습니다.

• 논문 주제 설정
• 가설 수립
• 실험 설계 및 코드 생성
• 결과 분석 및 시각화
• 논문 텍스트 작성과 제목까지!

이 모든 과정을 AI가 직접 수행했다는 것이 Sakana 측의 설명입니다.

---

📄 어떻게 논문이 만들어졌고, 리뷰를 통과했을까?

ICLR 워크숍에 AI 논문 3개 제출

Sakana는 AI Scientist-v2를 활용해 총 3편의 논문을 작성했고, 이를 세계적인 AI 학회인 **ICLR(International Conference on Learning Representations)**의 워크숍(Workshop) 부문에 제출했습니다.

이 워크숍은 ICLR의 정식 컨퍼런스와는 다른 분리된 세션으로, 주로 새로운 시도나 부정적 결과(Negative Results) 등을 다루는 자리입니다. 심사도 비교적 유연하게 진행되며, 실험적인 주제를 다루기 적합한 성격을 갖고 있습니다.

논문은 ‘블라인드 리뷰’를 통해 심사

흥미로운 점은, 이번 실험 자체가 하나의 **블라인드 실험(double-blind review)**으로 기획되었다는 것입니다.

• 리뷰어는 해당 논문이 AI가 작성한 것인지 모른 채로 평가
• ICLR 및 워크숍 주최측과 사전 협의된 실험 형태

결과적으로, 3개의 논문 중 1편이 정식으로 워크숍에 채택되었습니다.

---

📌 어떤 논문이 채택되었고, 왜 철회됐을까?

선정된 논문은 신경망 훈련 방식에 대한 비판적 분석을 다룬 논문이었습니다.
해당 논문은 새로운 훈련 방법을 제안하며, 동시에 그 방법이 실제 적용되는 데 있어 여러 실증적 한계가 존재함을 지적하고 있습니다. 즉, 문제 제기를 중심으로 작성된 글입니다.

하지만 Sakana는 이 논문을 공식 발표 전 철회했습니다.
그 이유는 다음과 같습니다:

• “AI가 쓴 논문이 통과했다”는 실험 목적은 달성했으나,
• ICLR 관행 및 투명성을 존중하고자
• 워크숍 발표 전에 자발적으로 철회

이는 어느 정도 AI의 역할을 부각시키는 데는 성공했지만, 완전한 정식 논문 발표와는 차이가 있음을 보여줍니다.

---

🤔 이게 진짜 연구일까? 기술적 한계와 윤리적 고민

잘 만든 글? 아니면 진짜 과학?

다수 전문가들은 이번 결과에 대해 “AI가 연구를 한 것이 아니라, 사람처럼 글을 잘 쓴 것일 뿐”이라고 지적합니다.
실제로 이 논문에는 다음과 같은 문제가 있었습니다:

• 잘못된 인용: 2016년 논문을 인용했으나, 원 출처는 1997년
• 검증되지 않은 실험: 과학적 재현성이 충분히 입증되지 않음
• 메타 리뷰 없음: 일반적인 컨퍼런스 논문처럼 추가 검토 절차가 진행되지 않음

사람의 개입은 없었을까?

Sakana는 “AI가 자동으로 작성한 논문을 사람이 골라서 제출했다”고 밝혔습니다.
즉, 사람의 판단이 필터 역할을 했다는 의미죠. AI가 모든 논문을 다 잘 쓰는 건 아니며, 일부 괜찮은 결과를 사람 손으로 선별한 것입니다.

---

🧭 과학계는 어떻게 반응하고 있을까?

• 긍정적 시선:
  → “AI가 과학적 글쓰기를 어느 정도 따라 할 수 있는 단계까지 왔다.”
• 회의적 시선:
  → “결국 사람의 판단 없이는 검증된 연구가 되지 못한다.”
  → “피어 리뷰 제도의 취지를 약화시킬 위험이 있다.”
  → “AI는 결과보다 ‘말 잘하는 기술’로 착각을 일으킬 수 있다.”

전문가들은 이 실험이 던지는 질문을 무겁게 받아들이고 있습니다.
**“AI가 연구자일 수 있는가?”**라는 질문은 이제 단순한 상상이 아니라, 실제 제도와 윤리에 영향을 미칠 수 있는 중요한 논제로 떠오른 것입니다.

---

728x90

AI, 과학의 조력자인가 창작자인가?

이번 Sakana의 실험은 AI 기술이 글을 쓰는 수준을 넘어서 연구적 문맥을 따라가고, 실험 설계까지 흉내 낼 수 있는 수준에 근접했다는 것을 보여줬습니다.

하지만 동시에 다음과 같은 한계를 드러냅니다:

• AI는 과학적 진실을 판단하지 못한다.
• 사람의 검증 없이는 연구로 인정받기 어렵다.
• AI의 결과물이 신뢰할 만한지는 별도의 검증이 필요하다.

결국, 이 실험은 AI가 과학계에서 어떤 역할을 할 수 있을지에 대한 출발점일 뿐입니다.
앞으로 필요한 것은 기술의 발전만이 아니라, AI 생성 연구물에 대한 평가 기준과 윤리적 합의입니다.

https://techcrunch.com/2025/03/12/sakana-claims-its-ai-paper-passed-peer-review-but-its-a-bit-more-nuanced-than-that/?fbclid=IwY2xjawJwg6NleHRuA2FlbQIxMAABHubhVVISdKyrxxPY029UIS6psTVCjE0YPIVQcd3-b9CM97SkKTZiheLDnJme_aem_OnPzeNMagO_gwTkP7Djw8w

Sakana claims its AI-generated paper passed peer review — but it's a bit more nuanced than that | TechCrunch