단일 스레드 성능

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

한 줄로 말하면

단일 스레드 성능은 한 코어가 앞 단계의 결과를 기다리며 이어지는 일을 얼마나 빨리 끝내는지야. 에이전트가 도구를 쓰고 결과를 확인한 뒤 다음 행동을 고르는 흐름에서는, 코어 수를 늘려도 한 단계씩 이어진 구간 자체는 짧아지지 않을 수 있어.

비유로 이해하기

여러 주문을 받는 주방을 떠올려 보자. 요리사를 더 늘리면 동시에 처리하는 주문 수는 많아져. 하지만 한 접시 안에서 손질을 마친 뒤에만 굽기를 시작할 수 있다면, 그 접시가 완성되는 시간은 그 순서를 맡은 요리사의 속도에 달려 있어.

에이전트도 비슷해. 여러 에이전트를 동시에 돌리는 일과, 한 에이전트가 앞 결과를 받아 다음 도구를 고르는 일은 다른 문제야. 다만 실제 작업에는 병렬로 나눌 수 있는 부분도 있으니, 모든 에이전트 작업이 한 줄로만 흐른다는 뜻은 아니야.

정확한 정의

스레드는 프로그램 안에서 순서대로 실행되는 작업 흐름 하나야. 단일 스레드 성능은 그 흐름을 처리하는 코어 하나의 실행 속도와 응답 지연을 가리켜. 명령어를 한 번에 얼마나 많이 처리하는지(IPC), 메모리에서 데이터를 가져오는 속도와 지연, 다른 코어와 자원을 나눠 쓸 때 성능이 얼마나 흔들리는지가 함께 영향을 줘.

이 개념은 코어 수와 반대말이 아니야. 코어 수는 동시에 처리할 수 있는 작업의 양을 늘리고, 단일 스레드 성능은 순서가 묶인 한 작업의 다음 단계가 언제 시작될 수 있는지를 좌우해. 둘은 같은 서버 안에서도 함께 필요해.

agentic workflow에서는 모델이 다음 행동을 고른 뒤 CPU가 도구 호출, 코드 실행, 데이터 처리, 결과 확인을 맡고 그 결과가 다시 모델로 돌아와. NVIDIA는 이 고리의 각 단계가 앞 결과에 의존하므로 코어 하나의 속도가 루프 진행 속도를 정한다고 설명해.¹

왜 중요한가

모델 추론만 보면 GPU가 중심처럼 보이지만, 에이전트가 실제로 일을 끝내려면 모델 호출 사이의 CPU 작업도 지나가야 해. 저장소를 내려받아 테스트를 돌리고, 검색 결과를 걸러 내고, 데이터를 가공한 뒤 결과를 검증하는 시간이 여기에 들어가.

그래서 단일 스레드 성능은 단순히 “CPU가 빠르다”는 말보다, 순차 의존성이 있는 단계의 대기 시간을 어떻게 줄이는가를 묻는 개념이야. GPU가 다음 요청을 처리할 준비가 되었는데 CPU 단계가 끝나지 않았다면, 전체 작업 시간은 그 CPU 단계를 기다리게 돼.¹

실제 예시

NVIDIA는 Vera CPU를 이 문제에 맞춘 설계라고 소개해. 회사는 Olympus 코어의 IPC가 기존 Grace보다 50% 높고, 부하가 걸린 에이전트형 CPU 작업에서 x86 대비 코어당 지속 성능이 1.8배라고 밝혔어.¹

같은 글에서 Perplexity가 저장소를 복제하고 테스트 묶음을 실행하는 작업을 시험했을 때, Vera가 x86보다 약 1.5배 빨리 끝냈고 동시 샌드박스 시작도 최대 1.9배 빨랐다고 전해. 이 수치는 개념을 이해하는 한 사례이지 일반 성능표는 아니야. 비교 대상의 정확한 구성과 비용, 다른 도구 조합에서의 재현성은 아직 따로 확인해야 해.¹

헷갈리지 말아야 할 점

• 단일 스레드 성능이 코어 하나만 쓰자는 뜻은 아니야. 많은 에이전트를 함께 돌리거나 독립적인 도구 작업을 나눌 때는 코어 수와 전체 처리량이 중요해.
• CPU가 언제나 병목인 것도 아니야. 모델 추론, 네트워크 왕복, 디스크 접근, 외부 서비스의 응답 시간이 더 긴 작업도 있어. 작업을 단계별로 나눠 봐야 해.
• 제품 발표의 측정치는 독립 검증과 다르게 읽어야 해. Vera의 수치는 제조사가 제시한 조건의 결과이므로, 실제 배포와 다른 CPU·작업에서의 비교가 더 쌓여야 범위를 알 수 있어.

관련 문서

• 모델·도구·검증이 이어지는 작업 흐름: agentic workflow
• Vera가 겨냥한 에이전트의 CPU 단계: NVIDIA Vera가 노리는 건 GPU가 기다리는 시간이다
• 이 CPU를 내놓은 회사의 AI 인프라 위치: NVIDIA

남은 질문들

• 실제 에이전트 서비스에서 CPU, GPU, 네트워크 대기 시간은 작업 종류에 따라 어떻게 나뉘는가?
• 코어 수·메모리 구조·단일 스레드 성능 중 어느 조합이 긴 도구 사용 작업의 응답 시간을 가장 크게 바꾸는가?
• 독립적인 비교에서도 Vera의 성능 차이가 비용과 전력까지 고려해 유지되는가?

각주

1. NVIDIA/Ian Buck, 「AI Innovators Adopt NVIDIA Vera — Why Max Single-Threaded CPU at Scale Matters」(2026-07-07) 공식 블로그. ↩︎ ↩︎² ↩︎³ ↩︎⁴