에이전트가 많아지면 추론 호출이 늘고, 추론은 GPU가 하니까 GPU를 더 사면 된다. 에이전트 확산을 실리콘 수요로 옮길 때 가장 먼저 나오는 문장이 이거야. 그런데 이 문장을 8월 말에 흔든 건 경쟁사가 아니라 NVIDIA 자신이야. NVIDIA는 GPU 옆에 토큰 생성만 전담하는 가속기를 따로 붙였고, 같은 랙에 넣을 서버 CPU도 자기 손으로 새로 만들었어.
에이전트 워크로드가 늘리는 건 랙에 꽂히는 GPU 장수가 아니라 랙 안에서 GPU가 아닌 칸의 수다. 디코드 전담 가속기, 에이전트용 CPU, 인프라 서비스 전용 실리콘이 한 달 사이에 같은 부품표로 들어왔어. 그래서 GPU 출하량만 세는 방식으로는 에이전트가 만드는 수요를 절반쯤 놓친다는 게 내 판단이야.
왜 지금
바뀐 건 워크로드의 모양이야. 에이전틱 AI 워크로드는 도구 호출이 섞이고, 시퀀스 길이가 매 턴 바뀌고, 하나의 작업이 여러 턴에 걸쳐 이어져. 입력 시퀀스 길이도 1천~3만2천 토큰 범위에서 10만~40만 토큰 범위로 늘어났어.1 NVIDIA가 GPU부터 네트워크, 전력, 유지보수까지 랙 전체를 다시 설계했다고 말하면서 그 이유로 든 게 바로 이 워크로드야.1
수요 쪽에서도 같은 달에 신호가 왔어. 과학기술정보통신부가 ‘모두의 AI’ 3개 컨소시엄에 각각 엔비디아 GPU B200 512장을 차등 지원하기로 했는데,2 그중 카카오가 잡은 접점은 카카오톡과 전화의 AI 에이전트야.2 에이전트가 연구실 데모가 아니라 전국민 서비스의 형태로 자원을 배정받는 단계에 들어왔다는 뜻이지.
통념과 비대칭
통념이 완전히 틀린 건 아니야. 같은 발표에서 GPU 자체도 커졌으니까. Rubin GPU는 NVFP4 추론 기준 2 ZFLOPS, NVFP4 학습 기준 1.4 ZFLOPS에 11PB의 HBM4 메모리와 800PB/s 대역폭을 100MW 규모의 AI 팩토리 단위로 묶은 스펙이야.1
통념이 놓친 건 에이전트가 GPU를 쓰는 방식이야. 에이전트가 답을 낼 때는 토큰을 한 개씩 순서대로 뱉고, 이 과정을 디코드라고 하는데, 여기서 지연이 조금만 생겨도 여러 단계를 거치는 작업 전체에서 그 지연이 쌓여.3 이건 연산량이 모자라서 생기는 문제가 아니야. 그래서 NVIDIA가 내놓은 답도 GPU를 더 키우는 쪽이 아니었어. Rubin GPU는 긴 컨텍스트를 읽어들이는 대규모 처리를 맡고, 그다음 토큰을 하나씩 뱉는 디코드 작업은 NVIDIA Groq 3 LPX가 맡아.3 이 가속기는 지난 8월 24일 완전 양산에 들어갔어.3
부품표에 그 흔적이 남았어. Vera Rubin NVL72는 Vera CPU·Rubin GPU·BlueField-4·Spectrum-6에 Blackwell 세대에는 없던 Groq LPU까지 얹은 구성이야.1 세대가 바뀌며 늘어난 건 GPU 장수가 아니라 칩의 종류였어.
근거 — 칸은 세 방향으로 늘었다
첫째, 랙 안에서 일이 갈라졌어. 랙 하나에는 칩투칩으로 직접 연결된 LP30 가속기 256개가 들어갈 수 있어.3 같은 자리에서 NVIDIA는 NVIDIA Scale-In이라는 새 인프라 계층도 소개했는데,3 컴퓨트·네트워킹·스토리지·보안에 이어 다섯 번째 축으로 부르는 이 계층은 BlueField-4 프로세서와 DOCA 소프트웨어를 기반으로 멀티테넌트 네트워킹, 고성능 스토리지 접근, 실시간 관측을 인프라 처리 전용 실리콘에서 처리해 호스트 컴퓨트 자원과 분리하겠다는 구상이야.3 발표의 전모는 토큰 생성 전담 가속기를 랙에 얹은 이야기에 정리해 뒀어.
둘째, 호스트 칸이 커졌어. NVIDIA가 새 CPU를 낸 이유로 든 것도 에이전틱 AI 확산이야. Vera는 NVIDIA가 새로 설계한 Olympus 코어 아키텍처를 쓰는 자체 Arm 서버 CPU고, 코어 수는 88개, 메모리 대역폭은 1.2TB/s야.4 하이퍼스케일·HPC 부문 부사장 Ian Buck은 “에이전트형 AI가 AI 팩토리에 새로운 CPU 국면을 만들고 있다 — 모델이 답하는 것에서 행동하는 것으로 옮겨가면서, Vera는 그 작업을 대규모로 계속 움직이게 하도록 만들어졌다”고 말했어.4 쓰는 쪽이 기대하는 일도 같은 결이야. SpaceXAI는 오케스트레이션·툴 사용·코드 실행·데이터 처리·시뮬레이션 같은 CPU 집약 작업을 가속할 Vera CPU를 배치할 계획이라고 했어.3 전달 과정과 스펙은 Vera CPU가 어디로 갔는지 정리한 글에 있어.
같은 방향을 전혀 다른 쪽에서도 가리켜. Arm이 Meta와 만든 데이터센터 칩을 다룬 자료를 보면, 예전엔 GPU 8개당 CPU 1개였는데 지금은 4개당 1개로 줄었고, AMD CEO Lisa Su는 2026년 1분기 실적 발표에서 “에이전트가 아주 많아지면 GPU보다 CPU가 더 많아질 수도 있다”는 시나리오까지 언급했어.5 파는 회사도 자료 출처도 다른데 비율이 같은 쪽으로 움직인다는 게 이 근거의 힘이야. 그 한 칸을 두고 인텔과 Arm이 부딪히는 구도는 인텔이 지키는 자리는 호스트 CPU 한 개라는 판단에서 따로 짚었어.
셋째, 칸이 랙 밖으로도 나갔어. 에이전트는 실리콘을 쓰기만 하는 게 아니라 실리콘을 그리는 자리에도 들어왔어. Synopsys는 Microsoft와 함께 만든 자율 에이전트 AI 워크플로 두 개를 공개했고, AMD가 벌써 그걸 평가하고 있다고 밝혔어.6 하나는 디버그 클로저야 — 칩 설계에서 오류를 찾고 검증을 앞당기는 일을 여러 에이전트 AI가 나눠 맡는데, 초기 평가에서 디버그 사이클 시간을 25~40% 줄였다고 해.6 이 회사의 매출과 주가가 갈린 사정은 Synopsys 실적과 주가의 간극을 짚은 글에 있어.
한 번의 에이전트 작업이 랙 안에서 네 개의 서로 다른 칸을 지나고, 그중 토큰을 뱉는 칸은 이번 세대에 새로 생겼다.
이 주장이 틀리는 조건
첫째, 돈을 쓰는 쪽 장부는 아직 GPU 단위로 세. 정부가 세 컨소시엄에 얹어 준 것도 CPU나 디코드 가속기가 아니라 엔비디아 GPU B200 512장이었어.2 랙 안의 칸이 늘어도 예산 문서에 적히는 단위가 GPU라면, 투자 판단에서 실제로 움직이는 숫자도 한동안 GPU 장수일 수 있어.
둘째, 근거의 대부분이 파는 쪽이 낸 숫자야. NVIDIA가 공개한 SPEC CPU 2026 기반 벤치마크에서 에이전틱 워크로드는 코어당 최대 1.8배 빠르다고 밝혔는데, 이건 NVIDIA 스스로 “대리 워크로드(proxy workload)“라고 못 박은 수치야.4 실물이 오간 규모도 크지 않아 — AWS에 전달된 건 “첫 서버 한 대”고,4 SpaceXAI는 강화학습 워크로드와 에이전트 기반 시뮬레이션 파이프라인에 Vera를 아직 “평가 중”이라고만 나와 있어.4 파는 쪽 숫자를 하드웨어 선택의 근거로 쓸 수 없다는 얘기는 초당 750토큰은 아직 칩을 고를 근거가 못 된다는 판단에서 따로 다뤘어.
셋째, 칸이 늘어난 게 곧 새 공급자의 자리는 아니야. Vera Rubin NVL72의 부품표를 다시 보면 Vera CPU도 Groq LPU도 BlueField-4도 Spectrum-6도 전부 한 회사 이름이야.1 칸이 갈라져도 그 칸을 채우는 이름이 안 바뀌면, 이 구조 변화는 수요의 확장이 아니라 한 회사의 점유 확대로 끝나.
다음 확인 지표
판정 시한은 2027년 6월 말로 둔다.
- Groq 3 LPX의 토큰 생성 속도를 파는 쪽이 아닌 곳에서 측정한 결과가 나오는가. 성능은 Artificial Analysis의 벤치마크로 확인됐고,3 오픈소스 에이전틱 모델 Gemma 4 31B를 10만 토큰짜리 롱컨텍스트로 돌렸을 때 초당 3,400개의 토큰을 냈다는 게 그 수치야.3 실서비스 측정이 이 값과 크게 갈리면 디코드 분업의 근거가 약해져.
- OCI가 말한 대수가 실제 숫자로 확인되는가. OCI 제품관리 총괄 Karan Batta는 “OCI가 2026년부터 수십만 대 규모의 NVIDIA Vera CPU를 배치할 계획”이라고 밝혔어.4 계획이 배치로 바뀌면 호스트 칸이 커진다는 근거가 굳어지고, 계획으로만 남으면 이 주장의 두 번째 갈래가 사라져.
- Synopsys 워크플로가 평가를 넘어 계약이 되는가. AMD는 이 워크플로를 차세대 제품에 적극 적용해보는 중이야.6 유료 계약으로 넘어가면 에이전트가 설계 쪽에서도 돈이 도는 칸을 만들었다는 증거가 돼.
- 반증 지표는 하나야. 다음 세대 랙 부품표에서 디코드 전담 실리콘이 사라지고 그 일이 GPU 안으로 돌아가면, 이 글의 주장은 한 세대짜리 최적화를 구조 변화로 오독한 게 돼.
개인 판단 기록이고 투자 추천이 아니다.
각주
-
ServeTheHome, 「NVIDIA Vera Rubin NVL72 Rack at Hot Chips 2026」(2026) 원문 ↩︎ ↩︎2 ↩︎3 ↩︎4 ↩︎5
-
전자신문, 「SKT·카카오·KT, ‘모두의 AI’ 개발 시동…1000만 MAU 목표」(2026-08-28) 기사 ↩︎ ↩︎2 ↩︎3
-
NVIDIA, 「With Groq 3 LPX in Full Production, NVIDIA Extends Vera Rubin Inference for Agents」(2026-08-24) NVIDIA 블로그 ↩︎ ↩︎2 ↩︎3 ↩︎4 ↩︎5 ↩︎6 ↩︎7 ↩︎8 ↩︎9
-
NVIDIA, 「Delivering Vera: NVIDIA’s First CPU Built for Agents Is Shipping Now」(2026-08-27 갱신) 원문 ↩︎ ↩︎2 ↩︎3 ↩︎4 ↩︎5 ↩︎6
-
Data Center Dynamics, 「Arm’s race: Building the AGI CPU」 원문 ↩︎
-
Maham Fatima, 「Synopsys (SNPS) Unleashes Agentic AI Chip Design Tools Backed by Microsoft, AMD」(2026-08-10) Yahoo Finance ↩︎ ↩︎2 ↩︎3
댓글