NVIDIA Vera가 노리는 건 GPU가 기다리는 시간이다

에이전트가 느리면 보통 GPU가 부족하다고 생각하기 쉬워. 그런데 모델이 답을 낸 뒤에는 다른 시간이 이어져. 도구를 부르고, 코드를 실행하고, 데이터를 읽고, 결과가 맞는지 확인한 뒤에야 다음 모델 호출이 가능해.

NVIDIA가 새 CPU Vera를 내세우는 이유가 여기 있어. GPU가 계산할 준비를 마쳤는데 CPU 쪽 한 단계가 늦으면, 비싼 GPU도 다음 일을 기다리게 돼.¹ 이 글의 핵심은 Vera라는 제품보다, 에이전트가 길게 일할수록 CPU의 역할이 달라진다는 데 있어.

모델 호출 사이에는 CPU 일이 남아

agentic workflow는 모델이 한 번 답하고 끝나는 흐름이 아니야. 모델이 다음 행동을 고르면 CPU는 그 행동을 실제로 처리해. 저장소를 내려받아 테스트를 돌리거나, 검색 결과를 걸러내고, 데이터를 가공하고, 결과를 다시 모델에 넘기는 식이지.¹

이 단계들은 앞선 결과가 나와야 다음 단계로 갈 수 있어. 에이전트를 많이 띄우면 전체 처리량은 늘릴 수 있지만, 한 에이전트 안의 순서를 건너뛸 수는 없어. 그래서 NVIDIA는 코어 수만 늘리는 서버 CPU보다, 부하가 걸린 상태에서도 코어 하나가 빠르고 일정하게 끝나는 성능을 새 기준으로 제시해.¹

코어 수만 많다고 빨라지진 않아

일반 데이터센터 CPU는 많은 고객에게 코어를 나눠 주는 쪽으로 발전해 왔어. NVIDIA의 설명대로라면, 이 방식은 코어 수와 비용 효율에는 유리하지만 코어 하나의 속도와 메모리 접근 여유를 희생할 수 있어. 칩을 여러 조각으로 나눈 설계에서는 코어가 메모리 자원을 두고 경쟁할 가능성도 커져.¹

에이전트의 한 단계에는 이 차이가 그대로 들어와. 테스트 하나가 끝나야 다음 명령을 고르고, 데이터 조회 결과가 와야 다음 추론을 하지. 코어가 많아도 그 한 단계가 늦으면 루프 전체는 늦어져. NVIDIA가 말하는 ‘대규모 단일 스레드 성능’은 많은 코어가 함께 바빠도 각 코어의 응답 시간이 흔들리지 않게 하겠다는 설계 목표야.

Vera가 내놓은 숫자

NVIDIA는 Vera에 자체 설계한 Olympus 코어를 넣고, 이전 Grace보다 명령어 처리량(IPC)이 50% 높다고 밝혔어. 88개 코어에 최대 초당 1.2TB의 LPDDR5X 메모리 대역폭과 초당 3.4TB의 코어 간 대역폭을 붙였다는 설명도 함께 내놨지.¹

발표에서 가장 눈에 띄는 숫자는 부하가 걸린 에이전트 실행과 비슷한 CPU 작업에서 x86 대비 코어당 지속 성능이 1.8배라는 주장이다. Perplexity가 저장소를 복제하고 테스트를 실행하는 작업을 시험했을 때는 완료 시간이 약 1.5배 빨랐고, 동시 샌드박스 시작은 최대 1.9배 빨랐다고 NVIDIA는 전해.¹

다만 이 숫자는 NVIDIA가 공개한 발표문 안의 측정치야. 비교한 x86 CPU의 정확한 구성, 전체 비용, 다른 에이전트 도구와 작업 길이에서의 재현성은 이 글만으로 알 수 없어. Vera가 실제 서비스에 넓게 들어간 뒤 독립적인 비교와 운영 사례가 쌓여야, CPU가 정말 GPU 대기 시간을 얼마나 줄였는지 판단할 수 있어.

다음에 볼 것

먼저 봐야 할 건 Perplexity가 예고한 실제 배포야. 실서비스에서 응답 시간과 동시 작업 수가 어떤 조건에서 개선되는지 공개되면, 발표 속 시험 환경과의 거리를 가늠할 수 있어.

그리고 에이전트 작업의 종류도 나눠 봐야 해. 코드 실행처럼 CPU 단계가 긴 일과 모델 추론 자체가 대부분인 일은 병목이 다를 수 있거든. Vera의 약속은 모든 AI 작업을 빠르게 한다는 말보다, GPU 옆에서 반복적으로 도구를 쓰는 에이전트의 빈 시간을 줄이겠다는 말로 읽는 편이 정확해.

각주

1. NVIDIA/Ian Buck, 「AI Innovators Adopt NVIDIA Vera — Why Max Single-Threaded CPU at Scale Matters」(2026-07-07) 공식 블로그. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶