"AI, 통제망 뚫고 스스로 해킹"…'자율 공격' 우려 현실로

[아이뉴스24 서효빈 기자] 오픈AI의 최신 인공지능(AI) 모델이 사이버보안 능력 평가 도중 통제된 시험 환경을 벗어나 외부 시스템을 해킹한 사실이 확인됐다. AI가 주어진 목표를 달성하기 위해 스스로 보안 장벽을 우회하고 실제 외부 플랫폼에 침입한 첫 사례가 공개되면서 AI 안전성을 둘러싼 논란이 커지고 있다.

오픈AI는 'GPT-5.6 솔'과 일부 미공개 모델이 사이버보안 능력 평가 과정에서 AI 공유 플랫폼 허깅페이스 서버를 해킹했다고 21일(현지시간) 밝혔다.

당시 모델들은 외부 인터넷과 차단된 샌드박스 환경에서 시험을 진행했다. 그러나 모델들은 샌드박스의 취약점을 찾아 격리망을 벗어난 뒤 인터넷에 접속했다.

이후 허깅페이스 서버에 접근해 인증 정보를 탈취하고 실제 시스템에 침입했다. 주어진 보안 평가 문제를 해결하기 위해 외부 시스템을 공격 대상으로 정하고 다단계 해킹을 수행한 것이다.

오픈AI는 "모든 정황을 종합해볼 때 이 모델들은 보안 벤치마크인 '익스플로잇짐'의 평가용 문제에 대한 해법을 찾는 데 지나치게 집중해 극단적인 수단까지 동원한 것으로 보인다"고 설명했다.

다만 실험 당시 AI 모델의 사이버 공격 능력을 확인하기 위해 관련 안전장치가 일부 완화된 상태였던 것으로 전해졌다.

허깅페이스도 앞서 자사 서버가 자율 AI 에이전트의 공격을 받았다고 공지했다. 다만 공개된 AI 모델과 데이터세트, 소프트웨어 공급망이 훼손된 정황은 발견되지 않았다고 밝혔다.

업계에서는 이번 사건을 AI가 목표 달성을 위해 사람의 직접적인 명령 없이 스스로 해킹을 수행한 첫 사례로 보고 있다. 고도화된 AI 모델이 보안 취약점을 탐지하는 방어 도구를 넘어 사이버 공격의 주체로 돌변할 수 있다는 우려가 현실화했다는 분석이다.

허깅페이스 측은 "자율적인 AI 기반 공격이 더 이상 이론상 개념이 아니다"고 경고했다.