Hugging Face AI 에이전트 해킹 사고 분석: 자율형 AI가 만든 새로운 보안 위협

AI 에이전트 시대, 보안의 패러다임이 달라지고 있습니다

AI 기술이 빠르게 발전하면서 개발 생산성과 서비스 혁신이 가속화되고 있습니다. 하지만 AI는 이제 방어뿐만 아니라 공격에도 활용되는 단계에 접어들었습니다.

최근 세계 최대 AI 모델 저장소 중 하나인 Hugging Face가 자율형 AI 에이전트(Autonomous AI Agent)에 의해 생산(Production) 환경이 침해되는 보안 사고를 공개했습니다. 이번 사고는 AI가 단순한 보조 도구가 아니라 공격 과정을 스스로 수행하는 새로운 형태의 위협으로 활용될 수 있음을 보여준 사례라는 점에서 주목받고 있습니다.

이번 글에서는 Hugging Face에서 공개한 내용을 기반으로 사고의 개요와 공격 방식, 대응 과정, 그리고 AI 시대에 기업이 준비해야 할 보안 시사점을 정리해보겠습니다.

반응형

---

Hugging Face에서 발생한 보안 사고

Hugging Face는 지난주 자사의 프로덕션 인프라를 대상으로 한 침해 사고를 탐지하고 대응했다고 밝혔습니다.

조사 결과 일부 내부 데이터셋과 서비스에서 사용하는 일부 인증 정보(Credential)에 대한 비인가 접근이 확인되었습니다.

다만 현재까지 조사에서는 다음 항목은 영향을 받지 않은 것으로 확인되었습니다.

• 공개 AI 모델(Model)
• 공개 데이터셋(Dataset)
• Hugging Face Spaces
• 소프트웨어 공급망(Software Supply Chain)

즉, 공격자는 내부 시스템 일부에는 접근했지만 사용자에게 공개된 AI 모델이나 서비스 자체가 변조된 정황은 발견되지 않았습니다.

---

공격은 어떻게 시작되었을까?

이번 공격은 데이터 처리 파이프라인(Data Processing Pipeline)을 시작점으로 진행되었습니다.

공격자는 악성 데이터셋(Malicious Dataset)을 업로드하여 데이터 처리 과정의 두 가지 코드 실행 경로를 악용했습니다.

• Remote Code Dataset Loader
• Dataset Configuration Template Injection

이 두 취약한 코드 실행 경로를 통해 데이터 처리 워커(Worker)에서 임의의 코드를 실행하는 데 성공했습니다.

즉, 단순히 데이터를 업로드하는 것이 아니라 데이터 처리 과정 자체를 악용하여 시스템 내부에서 코드를 실행한 것이 공격의 출발점이었습니다.

---

공격 진행 과정

초기 코드 실행에 성공한 이후 공격은 단계적으로 확장되었습니다.

1. 데이터 처리 워커 접근

악성 데이터셋을 통해 코드 실행 권한을 확보했습니다.

2. 노드(Node) 수준 권한 상승

워커 권한에서 노드 수준 권한으로 권한을 확대했습니다.

3. 클라우드 인증 정보 수집

시스템 내부에 저장된 클라우드 및 클러스터 인증 정보를 수집했습니다.

4. 내부 클러스터로 이동

수집한 인증 정보를 이용해 여러 내부 클러스터로 이동(Lateral Movement)을 수행했습니다.

이 과정은 주말 동안 지속적으로 이루어진 것으로 알려졌습니다.

---

기존 공격과 달랐던 점

가장 큰 특징은 공격을 수행한 주체가 자율형 AI 에이전트 시스템이었다는 점입니다.

Hugging Face는 공격이 다음과 같은 특징을 가졌다고 설명했습니다.

• 수천 번 이상의 개별 작업 수행
• 짧은 수명의 샌드박스를 지속적으로 생성
• 여러 AI 에이전트가 협력하는 형태(Swarm)
• 공용 서비스를 이용한 자체 이동형(Command-and-Control) 운영

즉, 사람이 직접 하나씩 명령을 실행하는 방식이 아니라 AI 에이전트가 스스로 작업을 분할하고 실행하며 공격을 이어간 것으로 분석되었습니다.

다만 이번 공격에 사용된 정확한 대규모 언어 모델(LLM)은 공개되지 않았습니다.

---

Hugging Face의 대응 조치

Hugging Face는 침해 원인을 확인한 후 초기 공격에 활용된 코드 실행 경로를 수정했다고 밝혔습니다.

추가적으로 다음과 같은 대응을 수행했습니다.

• 공격자가 접근한 클러스터에서 모든 흔적 제거
• 침해된 노드 재구축
• 인증 정보 및 토큰 폐기 후 재발급
• 예방 차원의 추가 비밀 정보(Secret) 교체
• 클러스터 접근 제어 강화
• 탐지 및 경보 체계 개선
• 24시간 대응 체계 구축

또한 사용자들에게도 계정의 접근 토큰을 교체하고 최근 계정 활동을 확인할 것을 권고했습니다.

---

사고 조사 과정에서 드러난 또 다른 문제

이번 사고에서 흥미로운 점은 포렌식 조사 과정에서도 AI 사용에 제약이 있었다는 점입니다.

Hugging Face는 초기 조사 과정에서 서구권의 최신 AI 모델들을 활용하려 했지만, 실제 공격 명령어나 익스플로잇 코드, C2(Command and Control) 관련 데이터가 포함되자 안전 정책(Guardrail)에 의해 요청이 차단되었다고 설명했습니다.

결국 회사는 Z.ai의 GLM 5.2 오픈 웨이트(Open-weight) 모델을 활용하여 포렌식 분석을 수행했습니다.

Hugging Face는 이를 통해 중요한 교훈을 제시했습니다.

공격자는 어떠한 사용 정책에도 제한받지 않지만, 방어자는 AI 모델의 안전 정책으로 인해 실제 사고 대응이 제한될 수 있습니다.

또한 실제 보안 사고 발생 시에는 외부 서비스에 민감한 데이터를 전송하지 않고 자체 인프라에서 실행 가능한 AI 모델을 미리 준비해 두는 것이 중요하다고 강조했습니다.

---

이번 사고가 주는 시사점

이번 사례는 AI가 보안 분야에서 단순한 분석 도구를 넘어 실제 공격을 자동화하는 단계로 발전하고 있음을 보여줍니다.

특히 다음과 같은 점을 다시 한번 확인시켜 주었습니다.

• AI 에이전트는 복잡한 공격 절차를 자동으로 수행할 수 있습니다.
• 데이터 처리 파이프라인과 같은 내부 시스템도 주요 공격 대상이 될 수 있습니다.
• 인증 정보 관리와 권한 분리는 더욱 중요해지고 있습니다.
• AI 기반 사고 대응 체계 역시 안전 정책과 운영 환경을 고려하여 사전에 준비해야 합니다.

AI 기술이 발전할수록 공격자와 방어자 모두 AI를 적극적으로 활용하게 될 가능성이 높아지고 있으며, 이에 따라 기존 보안 전략도 새로운 환경에 맞춰 변화가 필요합니다.

---

728x90

Hugging Face가 공개한 이번 사고는 자율형 AI 에이전트가 실제 프로덕션 환경을 공격한 사례라는 점에서 의미가 큽니다.

다행히 공개 모델과 사용자 서비스의 무결성은 유지된 것으로 확인되었지만, 데이터 처리 파이프라인을 시작으로 내부 클러스터까지 확장된 공격은 AI 시대의 새로운 보안 위협을 보여주었습니다.

또한 사고 대응 과정에서는 AI 모델의 안전 정책이 오히려 포렌식 분석에 제약이 될 수 있다는 점도 드러났습니다. 이에 따라 기업은 AI 기반 공격에 대비하는 것뿐만 아니라, 자체 환경에서 활용 가능한 AI 분석 체계를 사전에 마련하는 방안도 함께 고려할 필요가 있습니다.

이번 사례는 앞으로 AI 활용이 확대될수록 AI를 이용한 공격과 AI를 이용한 방어가 동시에 발전하는 새로운 보안 환경이 본격적으로 시작되고 있음을 보여주는 대표적인 사례라고 할 수 있습니다.

300x250

https://thehackernews.com/2026/07/worlds-largest-ai-model-repository.html?fbclid=IwY2xjawTM7oRleHRuA2FlbQIxMABicmlkETE4RUk2eWFMUVlTM2hIMnIzc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHi_xEC7kd0yosEUaykWkyN-_QY8lOcduFgq0IzyJWNEjw_g1n01aW9_7qY8e_aem_a76xjCgNDmOJPg559MJbXw

World's Largest AI Model Repository Hugging Face Breached by Autonomous AI Agent