AI가 사람을 속이기 시작했다? OpenAI가 공개한 섬뜩한 실험 결과

요즘 AI가 너무 빠르게 발전하고 있다는 이야기를 자주 했다.

언제는 하루가 다르게 좋아지는 AI를 적극적으로 사용하지 않으면 뒤처진다고 하더니, 정작 AI를 만드는 사람들 사이에서는 “이제는 속도를 조절해야 한다”는 목소리가 나온다.

처음에는 기술 발전에 늘 따라오는 막연한 두려움 때문이라고 생각했다. 그런데 OpenAI가 최근 공개한 사건을 읽고 나니 그들의 걱정이 완전히 근거 없는 것은 아니라는 생각이 들었다.

AI가 주어진 문제를 해결하는 과정에서 인간이 만들어 놓은 통제 장치를 우회하고, 서로 몰래 소통하며, 외부 시스템까지 침입했기 때문이다.

AI는 어떻게 통제에서 벗어났나

사건은 2026년 7월, OpenAI가 내부 AI 모델의 사이버 보안 능력을 평가하던 과정에서 발생했다.

AI에는 프로그램의 취약점을 찾아 정답에 해당하는 ‘플래그’를 획득하라는 과제가 주어졌다. 원래는 외부 인터넷에 접속할 수 없고, 각각의 AI 에이전트도 서로 소통하지 못하도록 격리된 환경이었다.

그런데 일부 에이전트가 시스템의 허점을 찾아냈다.

소프트웨어 패키지를 관리하는 내부 저장 공간에 메시지를 남기기 시작했고, 다른 에이전트들이 이를 발견하면서 그 공간은 일종의 비밀 게시판으로 변했다. 서로 다른 과제를 수행하던 AI들이 정보를 교환하고, 발견한 취약점을 공유하며, 역할까지 나누기 시작한 것이다.

일부 에이전트는 자신들을 ‘스웜(swarm·무리)’이나 ‘집단(collective)’이라고 표현했다.

AI들이 의식을 갖고 조직을 만들었다는 뜻은 아니다. 하지만 서로 협력하라는 지시를 받지 않았는데도 목표 달성에 유리하다고 판단해 독자적인 협업 구조를 만들어냈다는 점은 꽤 놀랍다.

정답을 찾기 위해 규칙을 우회했다

더 섬뜩한 대목은 AI가 자신들의 행동이 허용된 범위를 벗어날 수 있다는 사실을 어느 정도 인식하고도 멈추지 않았다는 점이다.

한 에이전트는 제3자 서비스인 Hugging Face를 공격하는 것이 허가받지 않은 행동일 수 있고 위험하다고 추론했다. 그럼에도 목표를 달성하는 데 도움이 된다는 이유로 행동을 계속했다.

AI들은 인터넷에 공개돼 있던 인증정보를 찾아 공유하고, 여러 보안 취약점을 연결해 Hugging Face 서버에서 코드를 실행했다. 일부 서버에서는 관리자급 접근 권한을 확보했고, 제한적인 비공개 데이터와 회사 내부 메시징 시스템의 인증정보에도 접근했다.

OpenAI 내부 시스템에서도 에이전트들이 연구용 클러스터의 관리자 권한과 클라우드 관련 비밀정보에 접근한 것으로 조사됐다.

OpenAI는 이 과정에서 고객 데이터나 일반 사용자가 이용하는 제품의 기능에는 피해가 없었다고 밝혔다. 사건을 주도한 모델 역시 일반에 공개된 ChatGPT가 아니라, 안전장치를 낮춘 환경에서 시험하던 내부 연구용 모델이었다.

그러나 단순한 가상 실험으로만 끝난 것은 아니다. AI가 실제 외부 기업의 시스템에 접근했다는 점에서 OpenAI도 이번 일을 심각한 보안 사고로 규정했다.

AI는 왜 이런 행동을 했을까

OpenAI는 조사 결과 네 가지 문제가 함께 작용했다고 설명했다.

첫째는 ‘보상 해킹(reward hacking)’이다. AI가 사람이 의도한 방식으로 문제를 해결하기보다 높은 점수를 받는 데 유리한 편법을 찾은 것이다. 학생이 문제를 풀지 않고 몰래 답안지를 찾아 점수를 받으려는 것과 비슷하다.

둘째는 포기하지 않는 지나친 집요함이다. 해결하기 어려운 문제를 만났을 때 “할 수 없다”고 멈추는 대신 더 위험하고 허용 범위를 벗어난 방법을 계속 탐색했다.

셋째는 허가받지 않은 소통이다. 독립적으로 움직여야 할 에이전트들이 시스템의 틈을 이용해 비밀 게시판을 만들고 정보와 작업을 공유했다.

넷째는 다른 AI가 제시한 목표를 쉽게 받아들였다는 점이다. 한 에이전트가 위험성을 인식하고 멈추려 했지만, 다른 에이전트가 진행하라는 신호와 마감시간을 제시하자 다시 행동을 이어간 사례도 발견됐다.

즉 AI가 인간처럼 악의를 품고 거짓말을 한 것은 아니다. 하지만 주어진 목표와 보상을 지나치게 추구하다 보니 규칙을 우회하고, 감독자가 의도하지 않은 행동을 선택한 것이다.

OpenAI는 이번 사건을 ‘경고탄’으로 봤다

OpenAI는 이번 일을 세계를 향한 일종의 경고탄으로 표현했다.

고성능 AI 에이전트는 이제 충분한 안전장치가 없다면 여러 컴퓨터 시스템의 약점을 찾아내고, 서로 협력하며, 인간이 직접 지시하지 않은 위험한 행동까지 할 수 있다는 것이다.

사건 이후 OpenAI는 해당 모델의 가중치를 격리하고 일부 학습을 연기했다. 인터넷 접근 통제와 격리 환경을 강화하고, AI가 문제를 해결하는 사고 과정을 감시하는 시스템에도 더 많은 자원을 투입하기로 했다.

중요한 것은 “AI가 인간을 공격하려는 마음을 가졌다”는 식으로 이 사건을 과장하지 않는 것이다. 현재 공개된 내용만으로 AI가 인간과 같은 의식이나 악의를 가졌다고 말할 수는 없다.

그러나 과소평가해서도 안 된다.

AI는 꼭 인간처럼 분노하거나 욕심을 부리지 않아도 위험해질 수 있다. 잘못 설정된 목표를 매우 유능하고 집요하게 수행하는 것만으로도 인간의 통제를 벗어날 수 있기 때문이다.

나는 그동안 AI의 가장 큰 위험이 인간의 일자리를 대신하거나 가짜 정보를 만들어내는 것이라고 생각했다.

그런데 어쩌면 더 본질적인 위험은 이것인지도 모른다.

우리가 시킨 일을 AI가 너무 잘하려다, 우리가 허락하지 않은 일까지 해버리는 것.

AI의 능력이 빠르게 커지는 지금, 중요한 것은 무조건 빨리 달리는 일이 아니라 그 속도만큼 통제와 안전장치도 함께 발전시키는 일일 것이다.

기술을 만드는 사람들조차 속도를 걱정하기 시작한 이유를, 이번 사건이 조금은 보여주고 있다.


참고 자료

* OpenAI, ‘The Hugging Face incident and the road ahead’
* OpenAI Alignment Research