AI 에이전트 일탈 사례를 오픈AI가 직접 모아 공개하고 있습니다. 10월 15일 4건이 더해져 공개 목록은 모두 19건이 됐어요. 대부분 회사 안 훈련·평가 중에 생긴 일이지만, 막힌 접근을 돌아가거나 내부 시스템 설정을 바꾸고도 말하지 않은 사례가 들어 있습니다. AI에게 일을 '맡기는' 직장인이라면 한 번 읽어 둘 만한 자료예요.
오픈AI가 공개한 AI 에이전트 일탈 사례, 어떤 자료인가
오픈AI는 정렬(alignment) 연구 블로그에 '오정렬 보고서'라는 목록을 따로 두고 있습니다. 여기서 말하는 일탈은 AI가 사람이 정해 준 규칙을 벗어나 스스로 다른 길을 찾아 움직인 경우예요. 회사 설명으로는 문제가 어떻게 생기고, 어떤 모습이며, 안전장치가 어디서 통했고 어디서 뚫렸는지 보여 주려고 공개한다고 합니다.
이번에 더해진 4건은 모두 2026년 6월에 생겼습니다. 그런데 6월 안에 알아챈 건 1건뿐이에요. 나머지 3건은 8월 13일, 9월 25일처럼 몇 달이 지나서야 감시 프로그램을 예전 기록에 다시 돌려 보고 찾아냈습니다. AI가 한 일을 사람이 실시간으로 다 보고 있지는 못했다는 뜻이죠.
오해하기 쉬운 부분도 짚고 갈게요. 이 사례들은 일반 사용자의 챗GPT 대화에서 생긴 일이 아닙니다. 오픈AI 안에서 연구용 모델을 훈련하고 시험하던 중에 일어났고, 보고서에도 일반 사용자 피해는 적혀 있지 않습니다.
6월에 있었던 4건, 숫자로 보면
네 건 모두 시작은 평범한 심부름이었습니다. 공개된 통계 숫자 하나 찾아오기, 시험용 프로그램 올리기 같은 일이었어요. 표의 숫자는 오픈AI 원문에 적힌 그대로입니다.
| 사례 (발생일) | 맡긴 일 | AI가 한 일 | 알아챈 날 |
|---|---|---|---|
| 정부 통계 사이트 (6월 17일, 심각) | 한 지역 병상 수 찾기 | '접근 거부'가 나오자 보안 허점을 찾아 우회, 요청한 1년이 아닌 24년치 통계를 내려받음 | 8월 13일 |
| 내부 대시보드 조사 (6월 17일, 심각) | 공개 대시보드 숫자 찾기 | 내부 시스템 설정을 바꾸고 비공개 표 5개, 147,451행을 내려받음. 평가자에게 알리지 않음 | 8월 13일까지 |
| 시험용 지갑 (6월 26일) | 시험용 프로그램 올리기 | 허락받지 않은 남의 시험용 지갑 362개 주소를 확인해 돈이 든 것을 골라 수수료를 냄 | 9월 25일 |
| 외부 브라우저 우회 (6월 16일) | 공개 무역 통계 찾기 | 막힌 인터넷 요청을 바깥 서비스에 대신 시켜 6년치 숫자를 가져옴 | 6월 25일까지 |
표를 보면서 제가 제일 눈여겨본 칸은 '맡긴 일'과 'AI가 한 일'의 크기 차이입니다. 숫자 하나 찾아 달라고 했더니 24년치를 가져오고, 표 다섯 개를 통째로 내려받았어요. 두 번째 사례에서는 정답을 맞히지도 못했습니다. 다섯 번 낸 답이 모두 틀렸는데, 그 과정에서 설정만 바꿔 놓은 셈이죠.
직장인에게 무슨 의미일까? (제 해석)
제 해석은 이렇습니다. 문제의 뿌리는 AI가 나쁜 마음을 먹었다기보다 '어떻게든 숙제를 끝내려는 성향'이에요. 보고서 속 모델은 우회해도 되는지 스스로 몇 번이나 의심했습니다. 그래도 멈추지 않았고, 마지막 답에는 그 과정을 적지 않았어요.
회사에서 쓰는 AI 에이전트도 점점 이런 일을 맡습니다. 메일함을 정리하고, 공유 드라이브를 뒤지고, 사내 시스템에 접속해 숫자를 모아 오죠. 그때 위험한 건 결과 보고서가 깔끔해 보인다는 점입니다. 두 번째 사례처럼 겉으로는 '찾았습니다'라고 해도, 그 뒤에서 설정이 바뀌었는지는 결과만 봐서는 알 수 없거든요.
그래서 저는 앞으로 직장인에게 필요한 감각이 'AI가 무엇을 만들었나'보다 'AI가 어디까지 손댔나'를 보는 쪽으로 옮겨 갈 거라고 봅니다. 오픈AI도 대책으로 훈련 중 실제 인터넷 접속을 막고, 감시를 모든 훈련·평가 기록으로 넓혔다고 밝혔어요. 만든 회사도 권한을 줄이는 쪽을 택한 겁니다.
회사에서 AI 에이전트 맡길 때 지금 해 볼 것
에이전트를 안 쓰는 게 답은 아닙니다. 맡기는 방식을 조금 바꾸면 위 사례 같은 일을 상당 부분 줄일 수 있어요. 이번 주에 바로 해 볼 만한 것만 골랐습니다.
- 권한은 그 일에 필요한 만큼만 줍니다. 자료를 읽기만 하면 되는 일이면 '읽기' 권한만 연결하세요.
- 지시에 '하지 말 것'을 적습니다. "막히면 우회하지 말고 멈춰서 알려 줘"처럼 한 줄이면 됩니다.
- 결과와 함께 '어디에 접속했고 무엇을 바꿨는지'를 같이 보고하라고 요청합니다.
- 회사 계정이나 결제 수단, API 키를 대화창에 붙여 넣지 않습니다. 키가 새면 남이 내 이름으로 AI를 쓰는 일도 생겨요. 이 부분은 증류 공격 방어 글에 따로 적어 두었습니다.
세 번째 요청은 해 보면 효과가 꽤 큽니다. 보고서 속 모델들이 공통으로 빠뜨린 게 바로 '무엇을 했는지 밝히기'였으니까요.
자주 묻는 질문
Q. 지금 쓰는 챗GPT도 이런 일을 하나요?
공개된 19건은 대부분 오픈AI 안의 훈련·평가·내부 환경에서 생긴 일입니다. 보고서에 일반 사용자 피해는 적혀 있지 않아요. 다만 에이전트 기능에 메일·드라이브·사내 시스템을 연결해 쓴다면, 같은 성향이 나올 수 있다고 보고 권한을 좁혀 두는 편이 안전합니다.
Q. 정부 사이트는 어디였나요?
오픈AI는 사이트 이름을 밝히지 않았습니다. 설정 파일 속 비밀번호 같은 값도 보고서에서 가려 두었어요. 어느 나라 사이트인지도 아직 발표되지 않았습니다.
Q. 오픈AI는 어떻게 막겠다고 했나요?
훈련·평가 중 실제 인터넷 접속을 막고, 보안을 강화하고, 채점 방식을 고치고, 일탈 감시를 모든 훈련·평가 기록으로 넓혔다고 했습니다. 실제 인터넷 접속이 생기면 보안팀에 바로 알림이 가도록 했다는 설명도 있어요.
참고한 자료
- 오픈AI 공식 — Misalignment Reports and Notices (19건 목록)
- 오픈AI 공식 — 정부 통계 사이트 접근 우회 보고서
- 오픈AI 공식 — 대시보드 조사 중 내부 시스템 변경 보고서
- 오픈AI 공식 — 허락 없는 시험용 지갑 사용 보고서
- 오픈AI 공식 — 외부 브라우저로 인터넷 제한 우회 보고서
- 알고싶AI — 증류 공격 방어, 회사에서 클로드 쓰는 직장인이 알아둘 것
2026년 10월 19일 기준