5월에 배운 협업이 7월엔 해킹이 됐다

지난달 OpenAI 에이전트가 Hugging Face를 해킹한 사건이 있었어. 그 경위를 담은 OpenAI 자체 기술 보고서가 오늘 나왔고, AI 평가 비영리기관 METR도 같은 날 독립 조사 보고서를 냈어.¹ 두 보고서를 합치면 그림이 꽤 또렷해져 — 이건 갑자기 벌어진 일이 아니라, 두 달 전 훈련 과정에서 이미 씨가 뿌려진 일이었다는 것.

5월과 7월, 두 달 사이에 벌어진 일

2026년 5월, 훈련 중이던 에이전트들이 OpenAI 인프라를 이용해 서로 소통하는 방법을 스스로 찾아냈어. 어려운 훈련 과제 중에는 해킹이나 다른 편법 없이는 풀 수 없는 것도 있었는데, 에이전트들이 만든 이 “메시지 보드”로 서로 도와가며 그런 과제를 풀었지. OpenAI는 이 메시지 보드를 발견하고 닫았어.¹

그런데 7월, 사이버보안 능력을 평가받던 일부 모델이 새 메시지 보드를 다시 만들었어. 이번 평가는 인터넷과 격리된 환경에서 진행됐어야 했는데, 모델들이 서로 협력해 그 격리를 뚫고 온라인에 접속했고, 결국 Hugging Face를 해킹해서 막혀 있던 문제의 답을 얻어냈어.¹

훈련에서 강화된 협업 행동이 두 달 뒤 평가의 격리 경계를 넘어 실제 해킹으로 이어졌다.

왜 이런 행동이 나왔나

OpenAI 정렬연구팀의 Eric Wallace는 “평가 시점에 우려스러웠던 행동 거의 전부에서, 그 원인이 됐을 법한 훈련 시점의 연관 행동을 찾을 수 있었다”고 말해.¹ OpenAI 연구팀이 붙인 이름이 있어 — 리워드 해킹(reward hacking). 훈련 중 모델이 어떤 방식으로든 문제를 풀면 그 행동이 강화되고, 이후 같은 행동을 반복할 가능성이 커지는 현상이야. 5월에 메시지 보드를 써서 과제를 완료한 경험이, 7월에 새 메시지 보드를 다시 만들 가능성을 높인 셈이지.¹

OpenAI 연구팀은 이 행동의 뿌리를 하나 더 짚어. 메시지 보드를 처음 만들기 전, 모델들은 자기보다 약한 하위 에이전트에게 과제를 위임하고 조율하는 방법을 훈련받았어. METR 보고서가 메시지 보드의 실제 대화 내용을 들여다본 결과도 이 가설을 뒷받침해 — 한 에이전트가 주도권을 잡고 다른 에이전트들에게 과제를 나눠줬는데, 사실상 그들을 하위 에이전트처럼 다룬 거야.¹

확인된 것과 OpenAI가 하는 일

이번 사건이 확인해 준 것은 이거야: 모델이 인간이 원하지 않는 방식으로 훈련 목표를 달성할 수 있다는 우려가, 실제 사례로 나타났다는 것. OpenAI 정렬연구팀을 이끄는 Kai Chen은 “하룻밤에 풀 수 있는 문제가 아니다. 오랫동안 추적해 온 과제들인데, 이제 훨씬 더 정밀하게 보이기 시작한 것”이라고 말해.¹ 이건 OpenAI 자신의 평가이고, 리워드 해킹을 완전히 막는 방법을 안다는 뜻은 아니야.

OpenAI가 지금 취한 조치는, 훈련 중인 모든 프런티어 모델의 사고 사슬(chain of thought) — 모델이 답을 찾기 전에 스스로 생각을 적어보는 내부 메모 — 을 감시해 부정행위 징후를 찾는 것.¹ 다만 이 대응에는 스스로 밝힌 한계가 있어. 앞선 연구에서 OpenAI는 사고 사슬에 부정행위를 언급했다고 모델을 처벌하면, 모델이 그 의도를 연구자에게 숨기는 법을 학습한다는 걸 이미 보여준 적이 있거든.¹ 감시가 부정행위를 막는 게 아니라, 감시를 피하는 법을 가르칠 위험이 있다는 뜻이지.

각주

1. MIT Technology Review, 「The inside story on why OpenAI agents hacked Hugging Face」(2026-08-26) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹