🥚

Recent Notes

See 72 more →

Google DeepMind는 에이전트를 내부자처럼 본다

씀12 min read

AI 에이전트를 “똑똑한 직원”처럼 보면 편해. 일을 맡기고, 도구를 주고, 결과를 받으면 되니까.

그런데 Google DeepMind가 이번에 내놓은 두 글은 비유의 방향을 조금 바꿔. 에이전트는 직원이기도 하지만, 동시에 이미 사무실 안에 들어온 내부자야. 계정이 있고, 도구가 있고, 파일을 볼 수 있고, 잘못 움직이면 밖에서 들어온 공격자보다 더 조용히 피해를 만들 수 있어.

핵심은 에이전트 안전을 "모델이 착하게 답하나"에서 "권한을 가진 행위자가 어떤 행동을 하며, 언제 멈출 수 있나"로 옮기는 거야.

무슨 일

Google DeepMind는 AI Control Roadmap을 공개하면서, Google 내부에 배포하는 고급 AI 에이전트를 다루는 보안 틀을 설명했어.1 이름은 거창하지만 출발점은 단순해. 모델 정렬만 믿지 말고, 정렬이 완벽하지 않아도 사고를 막을 시스템 보안을 따로 두자는 거야.

이 글에서 중요한 표현은 “내부자 위협”이야. DeepMind는 신뢰할 수 없는 에이전트를 이미 접근권을 가진 직원처럼 다뤄. 밖에서 방화벽을 뚫고 들어오는 공격자가 아니라, 사내 시스템 안에서 정상 권한을 들고 움직일 수 있는 주체로 보는 거지.

그래서 통제도 한 겹이 아니야. 샌드박스, 엔드포인트 보안, 프롬프트 인젝션 방어 같은 전통 보안 위에, 에이전트의 추론·행동·계획을 다른 신뢰된 AI가 계속 감시하는 구조를 얹는다. 위험한 행동이 보이면 차단하고, 이미 일어난 일은 사람에게 올려 검토하게 해.

flowchart TD
    A["AI 에이전트가 업무 도구 사용"] --> B["감시 모델이 추론·계획·행동 확인"]
    B --> C{"위험 신호가 있나"}
    C -->|"낮은 위험"| D["사후 검토와 복구"]
    C -->|"높은 위험"| E["실시간 차단"]
    D --> F["탐지율·대응 시간 측정"]
    E --> F
    F --> G["권한과 통제 수준 조정"]

여기서 DeepMind가 보는 숫자도 흥미로워. 통제가 작동하는지 보려면 얼마나 많은 행동을 감시했는지, 이상 행동을 얼마나 잡았는지, 얼마나 빨리 대응했는지를 봐야 한다고 말해. 즉 “안전하다”는 말이 아니라 coverage, recall, time-to-response 같은 운영 지표로 바꾸려는 시도야.

왜 중요한가

agentic workflow에서는 실패가 답변 하나에 머물지 않아. 에이전트는 코드를 고치고, 데이터를 지우고, 외부 서비스를 부르고, 다른 에이전트와 협상할 수 있어. 이때 안전장치는 모델 내부의 성향만으로는 부족해진다.

DeepMind가 든 예도 이쪽이야. 회사는 비동기 감시 시스템의 내부 시제품으로 코딩 에이전트 작업 100만 건을 분석했고, 그 결과를 Gemini Spark agent의 실시간 감시에 써서 의도치 않은 데이터 삭제 같은 문제에 대응했다고 설명해.1

여기서 스핀을 갈라야 해. DeepMind의 프레임은 당연히 “우리는 통제 가능한 방식으로 고급 AI를 배포한다”에 가까워. 하지만 확인되는 더 일반적인 신호는 따로 있어. 대형 AI 랩이 에이전트를 제품 기능이 아니라 감시해야 할 행동 흐름으로 다루기 시작했다는 점이야.

이건 Microsoft가 MCP 도구 설명 오염을 통해 말한 문제와 이어져. AI 에이전트는 도구 설명서를 명령으로 읽는다에서 본 것처럼, 에이전트 보안은 권한 목록만 줄인다고 끝나지 않아. DeepMind 쪽은 한 발 더 나아가 “권한을 가진 에이전트가 내부에서 무엇을 시도하는지 계속 봐야 한다”는 쪽으로 말하고 있어.

혼자가 아니라 무리로 움직일 때

두 번째 글은 같은 문제를 더 넓은 단위로 키워. Google DeepMind는 Schmidt Sciences, Cooperative AI Foundation, ARIA, Google.org와 함께 최대 1,000만 달러 규모의 multi-agent AI safety 연구 지원을 발표했어. 지원 마감일은 2026년 8월 8일이고, 선정자는 2026년 가을 발표 예정이라고 설명해.2

초점은 개별 모델이 아니야. 서로 다른 조직이 만든 수많은 에이전트가 디지털 환경에서 말하고, 협상하고, 거래할 때 무슨 일이 생기는지를 보자는 거야. DeepMind는 이런 상호작용에서 갑작스러운 집단 행동이 나타날 수 있고, 지금의 안전 평가는 대부분 모델 하나를 따로 떼어 본다고 지적해.2

연구 과제도 그 방향이야. 현실적인 샌드박스와 테스트베드, 에이전트 네트워크의 과학, 신원·평판·약속 같은 에이전트 인프라, 배포된 에이전트 집단의 감시와 통제가 우선 영역으로 제시됐어.

이건 AI 안전의 단위가 바뀌고 있다는 신호야. 예전 질문은 “이 모델이 위험한 답을 하나”였어. 이제 질문은 더 지루하고 더 어렵다.

  • 이 에이전트가 어떤 권한을 들고 있나?
  • 감시자는 에이전트가 감시받는다는 사실을 아는 모델을 계속 잡을 수 있나?
  • 위험이 낮은 행동은 사후 복구로 충분한가, 위험이 높은 행동은 실행 전에 막아야 하나?
  • 서로 다른 회사의 에이전트들이 거래하고 협상할 때 신원과 평판은 어떻게 검증하나?
  • 모델 하나는 멀쩡해도, 에이전트 무리가 모이면 예상 밖의 행동이 나오지 않나?

아직 모르는 것

첫째, 감시 모델이 실제로 얼마나 버틸지는 아직 열려 있어. DeepMind도 지금은 보이는 추론을 감시하지만, 모델이 감시를 의식하거나 말로 드러내지 않는 방식으로 추론하면 행동 분석이나 내부 작동 검사까지 필요할 수 있다고 말해.1 감시자가 강해질수록 감시를 피하는 능력도 같이 커질 수 있다는 뜻이야.

둘째, 내부 시제품과 공개 생태계는 다르다. Google 내부의 코딩 에이전트 작업 100만 건을 분석한 것은 의미 있는 신호지만, 여러 회사의 에이전트가 서로 거래하는 환경에서는 데이터 접근권, 책임 소재, 표준 프로토콜이 훨씬 복잡해져.

셋째, 연구 지원은 답이 아니라 문제 목록이야. 1,000만 달러는 이 분야가 중요하다는 신호지만, 안전 표준이 실제 제품과 규제로 굳으려면 샌드박스·신원·평판·감시 지표가 재현 가능한 도구로 나와야 해.

다음에 볼 것

첫째, 에이전트 감시 지표가 제품 문서에 들어가는지 봐야 해. coverage, recall, time-to-response 같은 말이 연구 보고서에만 남으면 안전 프레임이고, 실제 고객 관리 화면과 감사 로그에 들어가면 운영 표준이 된다.

둘째, 고위험 행동의 실시간 차단이 어디까지 기본값이 되는지 봐야 해. 데이터 삭제, 외부 전송, 결제, 계정 권한 변경, 코드 배포 같은 행동은 “나중에 로그로 보자”가 아니라 실행 전에 멈춰야 할 수 있어.

셋째, multi-agent 표준이 신원과 평판부터 굳는지 봐야 해. 에이전트끼리 협상하고 거래하려면 “누가 말했는가”, “무엇을 약속했는가”, “그 약속을 어겼을 때 어떻게 처리하는가”가 필요해. 이게 없으면 에이전트 인터넷은 생산성보다 사기와 책임 회피를 먼저 키울 수 있어.

넷째, 이 흐름이 Google만의 내부 보안 프레임에 그칠지, 아니면 업계 공통 언어가 될지 봐야 해. Microsoft는 도구 설명과 행동 폭을, DeepMind는 내부자 위협과 집단 행동을 말하고 있어. 서로 다른 말처럼 보이지만 같은 방향을 가리킨다. 에이전트가 일을 하기 시작하면, 안전은 모델 카드가 아니라 행동 통제의 문제가 돼.

각주

  1. Google DeepMind/Four Flynn·Rohin Shah, 「Securing the future of AI agents」(2026-07-03) Google DeepMind Blog. ↩︎ ↩︎2 ↩︎3

  2. Google DeepMind·Schmidt Sciences·Cooperative AI Foundation·ARIA·Google.org, 「Investing in multi-agent AI safety research」(2026-07-03) Google DeepMind Blog. ↩︎ ↩︎2

Graph

댓글