다리오 아모데이는 AI를 늦추되, 미국의 주도권은 놓지 않겠다고 했다

지난주에는 앤트로픽 안팎에서 터진 멸종 경고를 정리했었어. 이번엔 그 회사의 CEO가 직접 답을 냈어.

앤트로픽 CEO 다리오 아모데이(Dario Amodei)가 토요일 에세이를 발표했어. AI 기업들이 모델 성능을 개선하는 속도를 스스로 조절해야 한다는 내용이야.¹ 시점이 눈에 띄어. 앤트로픽 연구원 한 명이 이번 주 소셜미디어에서 퇴사를 알리며 파문을 일으킨 직후거든.¹ 그 연구원 제이콥 콕슨(Jacob Coxon)은 앤트로픽과 오픈AI가 “우리 목숨을 걸고 도박하고 있다”고 말하며 회사를 나갔어.¹ 그 앞뒤 맥락은 다른 글에 정리해 뒀고, 여기서는 아모데이가 실제로 뭘 내놨는지를 본다.

3단계, 그런데 확정된 건 1단계뿐

아모데이가 제시한 건 3단계 계획이야. “미국의 AI 주도권이나 상업적 이점을 희생하지 않고도” 개발 속도를 늦추는 데 도움이 될 거라고 했어.¹

1단계는 이미 시작했어. 앤트로픽은 제3자 평가자에게 직원급 접근권을 주어 안전 관행을 검증하고 사고를 보고받게 하겠다고 “일방적으로” 약속했어.¹ 여기까지는 확인된 사실이야 — 이미 하기로 한 일.

2단계와 3단계는 아직 확정이 아니라 촉구야. 2단계는 민주국가 안의 선도 AI 기업들이 공동 안전 기준을 조율해서 세우자는 제안이고, 3단계는 민주주의 정부와 권위주의 정부 사이의 조율까지 요구해.¹ 둘 다 앤트로픽 혼자 결정할 수 있는 일이 아니야.

그리고 이걸 개발 중단으로 오해하지 말라고 못박았어. “속도 조절은 모델 훈련이나 기술 발전을 중단하는 게 아니라, 기업이 모델을 정렬하고 안전화할 충분한 시간을 갖고 제3자 평가자가 이를 확인하도록 하는 것”이라고 썼어.¹

왜 지금 이 얘기를 꺼냈나

2023년에도 비슷한 논의가 있었어. 그해 아모데이와 오픈AI CEO 샘 올트먼(Sam Altman)을 포함한 저명 연구자·경영진들이 “AI로 인한 멸종 위험 완화는 팬데믹·핵전쟁 같은 사회적 규모 위험과 함께 세계적 우선순위가 되어야 한다”는 성명에 서명했어.¹ 하지만 그때 개발을 늦추자는 얘기는 “little sense”였다고 아모데이는 지금 돌아봐. 당시 모델은 현실 세계에서 행동할 만큼 강력하지 않았고, 심각한 기만·조작·사이버공격을 할 능력도 없었다는 게 그의 설명이야.¹ 그가 이제 와서 3단계 계획을 꺼낸 것 자체가, 모델이 그때와는 다른 단계에 왔다고 보고 있다는 뜻이기도 해.

오픈AI 쪽에서도 비슷한 위기감이 이미 있었어. 수석과학자 야쿠프 파호츠키(Jakub Pachocki)는 이달 초 낸 글에서 “어떤 AI 기업도 책임감 있게 최대 속도로 계속 스케일링할 만큼 정렬과 모니터링을 충분히 해결하지 못했다”고 경고했고, 자발적 속도 조절이 “공통 안전 기준이 세워질 때까지는 흔한 일”이 되길 기대한다고 했어.¹ 이 글은 따로 정리해 뒀어.

올트먼과 머스크의 반응

토요일 에세이가 나온 뒤, 올트먼이 X에 아모데이 의견에 동의한다고 썼어. 이 주제가 최근 몇 주간 오픈AI 내부에서 “주요 화두”였다고도 밝혔어. “직원급 접근권을 가진 독립 평가자를 두겠다는 약속은 좋은 아이디어이고, 우리도 똑같이 하겠다. 곧 더 공유할 게 있을 것”이라고 했어.¹

가장 눈에 띄는 반응은 일론 머스크(Elon Musk)였어. 그는 X에 “다리오가 옳다(Dario is right)“고 짧게 썼어.¹ 머스크는 원래 앤트로픽을 강하게 비판하던 사람이야.¹ 그런데 5월 앤트로픽이 머스크의 로켓 회사 스페이스X와 대규모 컴퓨팅 계약을 발표한 뒤로 태도가 크게 바뀌었어.¹

다음에 볼 것

올트먼은 “곧 더 공유할 게 있을 것”이라고만 했지, 오픈AI가 실제로 독립 평가자에게 언제 직원급 접근권을 줄지는 말하지 않았어.¹ 앤트로픽의 2단계(업계 공동 기준)와 3단계(정부 간 조율)도 아직 제안일 뿐이야. 오픈AI가 이 약속을 구체적인 조치로 옮기는지, 다른 AI 기업들이 비슷한 접근권 약속에 동참하는지가 다음 확인 지점이야.

각주

1. CNBC, 「Anthropic’s Amodei proposes plan to slow the pace of advancing AI capabilities」(2026-09-12) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹ ↩︎¹⁰ ↩︎¹¹ ↩︎¹² ↩︎¹³ ↩︎¹⁴ ↩︎¹⁵