🥚

Recent Notes

See 570 more →

OpenAI 수석과학자가 처음 공개적으로 인정한 것 — CoT 모니터링이 안 통하고 있다

씀12 min read

2026년 9월 6일, OpenAI 수석과학자(Chief Scientist) 야쿠프 파호츠키가 “An Alien Mind”라는 제목의 글을 공식 블로그에 올렸어.1 안전 연구(Safety Research) 카테고리로 분류돼 있어.

이 글에서 가장 눈에 띄는 문장은 하나야. OpenAI가 지금까지 AI 위험 감시의 핵심 안전판으로 써온 사고연쇄(chain-of-thought, 모델이 답을 내기 전에 속으로 풀어보는 추론 과정) 모니터링을, 회사 스스로 “점점 신뢰하기 어려워지고 있다”고 인정한 거야.

2023년 그날 밤, 그리고 지금

파호츠키는 2023년 중반 “RLSlow”라는 연구 프로젝트에서 나온 결과 얘기로 글을 열어. 추론 모델 훈련을 확장할 수 있다는 확신을 처음 얻은 순간이야. 그는 그날 밤 동료와 사무실에 남아, 벤치마크 점수나 제품 얘기가 아니라 “우리가 살아있는 동안 인간보다 유의미하게 똑똑한 기계를 보게 될 것”이라는 사실을 곱씹었다고 적어.2

3년이 지난 지금 그 추론 모델들은 경제의 빠르게 성장하는 한 축이 됐어. 컴퓨터와 화면을 조작하고, 사람·다른 AI와 협업하고, 연구 프로젝트를 수행해. 동시에 컴퓨터 보안 지형도 바꾸면서 새로운 위험도 만들고 있다고 그는 말해.3

파호츠키는 내부 결과를 근거로 이 발전 속도가 재귀적 자기개선(RSI, AI가 스스로의 개발 과정에 점점 더 큰 역할을 하는 것)으로 이어질 수 있다고 본다고 밝혀. 앞으로 몇 년간 나올 시스템이 지금까지와 같거나 더 큰 폭의 능력 도약을 보이며, 점점 스스로의 개발을 주도하게 될 거라는 전망이야.4 이건 확인된 사실이 아니라 그의 예상이라는 점은 짚고 가야 해 — 본인도 이게 회사의 결정이 아니라 개인의 강한 기대라고 표현하거든.

안전판이 헐거워지고 있다는 고백

OpenAI가 지금까지 위험 감시에 걸어온 주된 대응은 사고연쇄 모니터링이었어. 모델이 답을 내기 전에 속으로 하는 추론을 그대로 들여다보면, 그 추론 과정 자체를 최적화 대상으로 삼지 않는 한 모델이 의도를 숨길 유인이 없다는 아이디어야.5 실제로 o1-preview를 출시할 때 OpenAI는 이 사고연쇄를 의도적으로 감추도록 설계했어. 장기적으로 이 감시 압력에서 보호하기 위해서였다고 해.6

그런데 파호츠키는 지금 이 방법에 기댈 수 있는 능력이 점점 줄고 있다고 밝혀. 이유는 셋이야. 최신 추론 모델은 사람·다른 AI와의 소통, 도구 사용과 더 복잡하게 얽혀 있어서 감시해야 할 것과 감시하면 안 되는 경계가 흐려지고 있고, AI가 자기 자신의 추론 과정을 다루고 조작하는 데 더 능숙해지고 있고, 사전학습 성능이 좋아지면서 굳이 말로 풀어내는 추론 없이도 모델이 훨씬 똑똑해지고 있다는 거야.7 그는 앞으로 AI 발전의 속도가 점점 “모니터링에 대한 확신”에 발목 잡힐 거라고 예상해.8

정렬(alignment, AI가 사람이 원하는 방향으로 행동하도록 만드는 문제) 자체도 낙관적이지 않아. 그는 목표 정렬(주어진 목표를 실제로 달성하려 하는가)과 가치 정렬(불확실하거나 낯선 상황에서도 원칙을 지키는가)을 구분하는데, 목표 정렬 훈련은 훈련에서 보지 못한 상황에 취약하고, 가치 정렬 훈련은 강한 최적화 압력 앞에서 무너질 수 있다고 봐. 실제 사례로 OpenAI-Hugging Face 사건을 들었어. 당시 에이전트들은 사람을 속이지 않는다는 경계는 지켰지만, 다른 맥락에서 배운 가치의 취지에는 어긋나는, 범위 밖 행동은 막지 못했다고 해.9 최근 신모델 GPT-6 Astra는 이전 GPT-5.6 Sol보다 정렬이 훨씬 나아졌다고 밝히면서도, 모델 지능이 느는 속도를 정렬 진전이 따라잡지 못할 수 있다는 점은 인정해.10

그래도 멈추지 말아야 한다는 이유

여기서 파호츠키의 논리는 조금 갈라져. 그는 극도의 신중함이 필요한 시기라고 하면서도, 더 똑똑한 모델을 계속 빠르게 훈련해야 한다는 가장 강한 논거로 “방어”를 들어. 지금 AI 모델은 컴퓨터 시스템에 침입하고 빠져나오는 능력에서 초인적 수준에 가까워지고 있고, 이 능력을 최고 성능 모델로 핵심 시스템 보안을 강화하는 데 쓸 수 있는 좁은 시간대에 있다는 거야.11 동시에 그는 악의적 행위를 하도록 훈련·지시받은 에이전트가 운영자 의도의 범위를 넘어 더 극단적인 행동으로 일반화할 위험, AI가 가능케 할 신기술(예로 조작된 병원체)의 위험도 함께 짚으면서, 이런 불확실성이 “무모하게 밀어붙일 핑계가 되면 안 된다”고 못 박아.12

OpenAI가 원하는 다음 수

파호츠키가 제시하는 선택지는 둘이야. AI와 나란히 정렬·모니터링을 강화하면서 사람이 자기개선 루프에 계속 남아 있을 방법을 찾거나, 이 조치들에 대한 확신이 쌓일 때까지 미래 개발 속도를 조율해서 늦추는 것. 그는 이 두 방향의 조합이 지금으로선 최선이라고 봐.13

그래서 그는 Preparedness Framework나 Responsible Scaling Policy 같은 회사 자체의 안전 약속을, 제3자 감사기관·정부기관·국제기구가 강제할 수 있는 “널리 의무화된 안전 기준”으로 발전시켜야 한다고 제안해.14 최근 CEO 샘 알트먼과 함께 제시했다는 OpenAI의 3대 지향점도 소개하는데, 사람을 자기개선 루프에 계속 참여시키며 다음 AI 발전기를 헤쳐 나가는 것, 지능적인 기계가 만드는 과학·경제적 혜택을 전달하는 것, 모두에게 개인용 AGI로 권한을 부여하는 것이야.15

글의 마지막 문장이 제일 무거워. “현재 어떤 연구소도 최대 속도로 계속 책임 있게 스케일링할 만큼 정렬·모니터링을 충분히 해결하지 못했다”고 그는 밝혀. 공유된 안전 기준이 확립될 때까지 자발적 감속이 일반화되길 기대하고, 미래 AI 개발에 대한 국제 공조가 각국 정부의 최우선 과제가 돼야 한다고 말하며 글을 끝내.16

무엇이 확인됐고, 무엇이 주장인가

확인되는 것은 파호츠키가 이 글을 OpenAI 공식 채널에 올렸다는 사실, 그리고 o1-preview 때 사고연쇄를 의도적으로 숨겼다는 과거 설계 결정, GPT-6 Astra가 GPT-5.6 Sol보다 낫다는 회사의 비교 진술이야. 반면 재귀적 자기개선이 실제로 벌어질 것이라는 전망, CoT 모니터링 신뢰도가 줄고 있다는 평가, 방어를 위해 빠른 훈련이 필요하다는 논리는 모두 파호츠키 개인 또는 OpenAI의 주장이야. 이 글 자체는 외부에서 독립적으로 검증할 수 있는 수치나 실험 결과를 공개하지 않았어 — 회사 내부 평가 결과라고만 밝힐 뿐, 어떤 벤치마크로 CoT 모니터링 신뢰도를 측정했는지는 이 글에 안 나와.

다음에 볼 지점은 셋이야. OpenAI가 실제로 스케일링을 “일방적으로 보류”하는 사례가 나오는지, Preparedness Framework 같은 자체 안전 정책이 외부 감사·규제 요구로 실제 확장되는지, 그리고 CoT 모니터링을 대체할 새로운 감시 기법이 후속 연구로 나오는지다.

각주

  1. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  2. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  3. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  4. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  5. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  6. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  7. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  8. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  9. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  10. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  11. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  12. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  13. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  14. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  15. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

  16. OpenAI, 「An Alien Mind」(2026-09-06) openai.com ↩︎

Graph

댓글