Claude가 암호 알고리즘의 취약점을 발견하다: AI가 바꾸는 암호학 연구의 새로운 가능성

AI는 이제 소프트웨어를 넘어 암호 알고리즘 자체를 분석하는 단계에 이르렀습니다

최근 Anthropic은 Claude Mythos Preview를 활용해 암호 알고리즘의 새로운 취약점을 발견한 연구 결과를 공개했습니다. 이번 연구는 단순히 구현 과정에서 발생하는 프로그래밍 오류를 찾는 것이 아니라, 암호 알고리즘 자체에 존재하는 수학적 약점을 찾아냈다는 점에서 의미가 있습니다.

연구진은 포스트 양자 암호(Post-Quantum Cryptography) 후보인 HAWK 디지털 서명 알고리즘과 널리 사용되는 AES(Advanced Encryption Standard)의 축소 버전을 대상으로 기존보다 더 효율적인 공격 기법을 발견했습니다.

다만 이번 연구 결과는 현재 운영 중인 실제 서비스나 시스템에는 영향을 미치지 않으며, 암호 기술을 더욱 안전하게 만들기 위한 연구 과정의 성과라는 점을 함께 이해할 필요가 있습니다.

반응형

---

Claude가 발견한 첫 번째 성과, HAWK 공격 기법 개선

HAWK는 미국 국립표준기술연구소(NIST)가 진행 중인 포스트 양자 디지털 서명 표준 후보 가운데 하나입니다.

양자 컴퓨터가 현실화될 경우 기존 RSA나 ECDSA 같은 공개키 암호는 더 이상 안전하지 않을 가능성이 있기 때문에, NIST는 새로운 암호 표준을 선정하는 작업을 진행하고 있습니다. HAWK 역시 이러한 후보 중 하나입니다.

이번 연구에서 Claude Mythos Preview는 기존에 알려져 있던 공격보다 훨씬 효율적인 키 복구 공격(Key Recovery Attack)을 찾아냈습니다.

연구 결과에 따르면 기존에는 HAWK의 키 강도를 일정 수준으로 평가했지만, Claude가 발견한 새로운 방법은 실제 유효 키 강도를 절반 수준으로 낮추는 결과를 보였습니다.

연구진은 HAWK에서 사용되는 격자(Lattice) 구조 내부의 새로운 대칭성(Automorphism)을 찾아냈으며, 이를 이용해 기존보다 더 빠른 탐색 공격을 수행할 수 있음을 입증했습니다.

이 공격은 여전히 지수 시간(Exponential Time)이 필요한 공격이기 때문에 현실적으로 HAWK 전체를 쉽게 무너뜨릴 수 있는 것은 아닙니다. 하지만 동일한 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 하는 수준의 영향을 주는 것으로 평가됐습니다.

---

AI는 어떻게 이 공격을 찾아냈을까?

HAWK 연구는 Claude Mythos Preview가 반자동(Agentic) 환경에서 수행했습니다.

Claude는 먼저 관련 논문을 검토하며 기존 연구를 분석했고, 이후 다양한 수학적 추론과 계산 실험을 반복했습니다.

공격 가능성을 발견한 뒤에는 Python과 Sage 등의 계산 도구를 활용해 스스로 결과를 검증하는 과정까지 수행했습니다.

전체 공격을 찾고 검증하는 데 약 60시간이 소요됐으며, 연구진은 API 사용 비용이 약 10만 달러 수준이었다고 설명했습니다.

흥미로운 점은 여러 개의 AI 에이전트가 동시에 아이디어를 탐색하면서 서로의 결과를 검토했다는 것입니다. 한 에이전트가 가능성이 없다고 판단한 접근법을 다른 에이전트가 계속 발전시켜 최종적인 공격 기법으로 이어졌습니다.

---

두 번째 성과는 AES 축소 버전에 대한 새로운 공격

두 번째 연구는 AES(Advanced Encryption Standard)를 대상으로 진행됐습니다.

AES는 현재 가장 널리 사용되는 대칭키 암호 알고리즘 가운데 하나이며, 실제 AES-128은 총 10라운드(Round)로 구성됩니다.

이번 연구는 전체 AES가 아닌 7라운드로 축소한 버전을 대상으로 수행됐습니다.

암호학에서는 이러한 축소 버전을 연구해 새로운 공격 기법을 찾고, 전체 알고리즘의 안전성을 검증하는 것이 일반적인 연구 방식입니다.

Claude는 기존 Meet-in-the-Middle 공격 기법을 개선하는 새로운 Fingerprinting 방법인 Möbius Bridge를 제안했습니다.

이 방법은 기존 공격에서 반드시 수행해야 했던 256가지 경우의 수를 제거하는 방식으로 계산량을 줄였으며, 추가적인 최적화를 통해 기존 연구 대비 약 200~800배 빠른 공격 성능을 달성했습니다.

물론 이 결과 역시 실제 AES 전체를 공격할 수 있다는 의미는 아닙니다. 연구 대상은 축소된 AES 버전에 한정됩니다.

---

AI가 스스로 연구를 수행한 과정

AES 연구는 더욱 높은 수준의 자율성을 보여줬습니다.

처음 Claude는 AES를 개선하는 것이 사실상 불가능하다고 판단하며 연구를 포기하려는 모습을 보였습니다.

이에 연구진은 "기존 연구를 반복하지 말고 새로운 아이디어를 찾아야 한다"는 수준의 간단한 방향만 제시했습니다.

이후 Claude는 스스로 가설을 세우고, 실험을 수행하고, 결과를 검증하는 과정을 반복했습니다.

약 3일 동안 수억 개의 토큰을 생성하며 연구를 이어갔고, 최종적으로 Möbius Bridge라는 핵심 아이디어를 발견했습니다.

그 이후에도 공격 기법을 지속적으로 개선해 논문 수준의 연구 결과를 완성했습니다.

반면 인간 연구자들은 Claude가 제시한 결과를 검증하는 데 오히려 수백 시간이 소요됐습니다.

---

추가로 진행 중인 암호학 연구

Anthropic은 이번 연구 외에도 여러 암호 알고리즘을 대상으로 실험을 진행하고 있습니다.

현재 공개된 내용에 따르면 다음과 같은 연구가 진행됐습니다.

• LEA 암호 알고리즘의 13라운드 공격 개선
• Serpent-128의 6라운드 키 복구 공격
• Salsa20 공격 성능 일부 개선
• Poseidon 해시 함수 분석
• SHA-1 공격 기법 일부 개선

이들 역시 전체 알고리즘을 무너뜨리는 결과는 아니며, 암호 알고리즘의 안전성을 검증하기 위한 연구 성과입니다.

또한 연구진은 여러 암호 알고리즘을 평가할 수 있는 CryptanalysisBench도 공개해 다른 연구자들이 AI의 암호 분석 능력을 평가할 수 있도록 지원하고 있습니다.

---

현재 시스템에는 영향이 있을까?

이번 연구에서 가장 중요한 점은 현재 운영 중인 실제 시스템에는 직접적인 영향이 없다는 것입니다.

HAWK는 아직 표준으로 채택되지 않은 후보 알고리즘이며, AES 역시 실제 사용되는 전체 알고리즘이 아닌 축소 버전을 대상으로 연구가 진행됐습니다.

즉, 이번 결과가 인터넷 서비스나 금융 시스템의 보안이 즉시 위협받는다는 의미는 아닙니다.

오히려 새로운 암호 알고리즘이 실제로 사용되기 전에 약점을 미리 발견해 더 안전한 표준을 만드는 과정으로 이해하는 것이 적절합니다.

---

728x90

AI가 암호학 연구를 바꾸는 시대

이번 연구는 언어 모델이 단순한 코드 작성이나 버그 탐지를 넘어 전문 연구 영역에서도 의미 있는 결과를 만들어낼 수 있음을 보여줍니다.

특히 수년간 전문가들의 검토를 거쳤던 암호 알고리즘에서 새로운 공격 기법을 찾아냈다는 점은 AI가 암호학 연구의 중요한 도구로 자리 잡을 가능성을 보여주는 사례입니다.

앞으로 AI는 새로운 암호 알고리즘을 설계하는 과정뿐 아니라 기존 암호 기술의 안전성을 지속적으로 검증하는 역할까지 담당하게 될 가능성이 높습니다.

연구진 역시 AI의 암호 분석 능력이 앞으로 더욱 발전할 것으로 전망하며, 학계와 산업계, 정부가 함께 이러한 변화에 대응할 필요성을 강조했습니다.

AI가 암호를 깨기 위한 도구가 아니라 더 강력한 암호를 만들기 위한 연구 파트너로 활용되는 시대가 점점 가까워지고 있습니다.

300x250

https://www.anthropic.com/research/discovering-cryptographic-weaknesses

Discovering cryptographic weaknesses with Claude