토큰 가격은 GPU 뒤에서 다시 갈린다

AI 서비스를 운영할 때 GPU 가격표만 보면 비용의 절반만 보는 셈이야. 같은 GPU라도 요청을 어떻게 나누고, 메모리를 어떻게 돌리고, 계산과 통신을 어떻게 겹치느냐에 따라 같은 시간에 내보내는 토큰 수가 달라지거든.

NVIDIA는 이 차이를 칩 하나의 성능이 아니라 추론 소프트웨어의 결합 문제로 설명해. 회사는 6월 30일 발표에서 Blackwell 위의 소프트웨어 개선으로 DeepSeek V4의 토큰 비용이 약 한 달 사이 최대 5분의 1까지 낮아졌다고 밝혔어.¹ 이 수치는 회사와 특정 환경의 주장이다. 그래도 무엇을 개선해야 토큰당 비용이 내려가는지 보여 주는 구조는 꽤 선명해.

토큰당 비용은 어디서 새나

토큰당 비용은 단순히 GPU 한 대가 얼마인지가 아니야. 같은 전력과 장비를 쓰더라도, GPU가 기다리는 시간이 길거나 메모리가 막히거나 요청이 고르게 배치되지 않으면 실제로 내보낸 토큰 수가 줄어들어. 지연 시간이 길어지면 사용자가 체감하는 서비스 품질도 같이 나빠지고.

NVIDIA는 이 문제를 세 층으로 나눠 설명해. 운영 층은 여러 서버에 요청을 배치하고 자동 확장·메모리 관리를 맡아. 가속 층은 모델 실행 중 계산과 통신을 겹치고 커널을 합쳐 GPU가 덜 쉬게 해. 인프라 접근 층은 GPU, 네트워크, 메모리의 기능을 개발자가 매번 저수준 명령으로 다루지 않아도 쓰게 만드는 부분이야.¹

flowchart LR
    A["모델 요청"] --> B["운영 층\n서빙·배치·자동 확장·메모리 관리"]
    B --> C["가속 층\n커널 최적화·계산과 통신 겹치기"]
    C --> D["인프라 접근 층\nGPU·네트워크·메모리 활용"]
    D --> E["더 많은 처리량과 낮은 지연"]

한 층만 잘해도 효과는 있지만, 발표가 강조하는 건 겹치는 효과야. NVIDIA는 요청 처리를 나누는 disaggregated serving, 대형 전문가 모델을 병렬로 돌리는 방식, NVFP4 정밀도, 여러 토큰을 한 번에 예측하는 기법을 함께 적용하면 처리량이 최대 20배 높아질 수 있다고 적었어.¹ 다만 이 수치는 구성과 모델, 응답성 조건에 따라 달라질 수 있어서 모든 서비스의 절감폭으로 읽으면 안 돼.

칩을 잘 쓰게 만드는 소프트웨어

발표에 나온 사례들도 칩 교체보다 소프트웨어 활용에 초점이 있어. Baseten은 TensorRT-LLM과 자체 실행 최적화를 결합해 DeepSeek V4 Pro의 초당 토큰 수가 최대 50% 늘었다고 전해. DigitalOcean과 Hippocratic AI 사례에서는 처리량이 30% 늘면서 첫 응답 시간을 0.5초 미만으로 유지했다고 소개해.¹

이 사례들이 공통으로 말하는 것은 “더 빠른 모델”보다 “같은 장비에서 병목을 덜 만드는 배포”야. 특히 여러 모델과 도구를 오가는 서비스에서는 요청 하나가 GPU 계산으로만 끝나지 않아. 메모리, 네트워크, 요청 대기열이 모두 비용표에 들어와. 그래서 추론 비용을 비교할 때는 GPU 종류와 함께 처리량, 첫 응답 시간, 실제 동시 사용자 수를 같이 봐야 해.

오픈소스가 만드는 속도

NVIDIA는 CUDA 위에서 자란 PyTorch, vLLM, SGLang 같은 생태계가 새 모델의 배포 속도를 높인다고 말해. 새 모델이나 최적화가 나오면 여러 개발자가 같은 하드웨어 경로를 빠르게 다듬고, 그 개선이 다시 다른 서비스에 옮겨 간다는 논리야.¹

여기서 확인되는 것은 NVIDIA가 오픈소스 추론 도구와 자사 하드웨어를 깊게 연결하려 한다는 점이야. 반면 그 연결이 경쟁 하드웨어보다 얼마나 오래 우위로 남는지, 고객의 전체 비용을 얼마나 낮추는지는 이 발표 하나로 알 수 없어. 소프트웨어 개선은 다른 하드웨어나 다른 프레임워크에서도 나올 수 있고, 서비스 사업자는 GPU 사용료 외에 네트워크·저장소·운영 인력 비용도 부담하니까.

다음에 볼 것

먼저 같은 모델과 지연 시간 조건에서 여러 추론 스택을 비교한 독립 벤치마크가 필요해. 토큰 처리량만 높이고 응답성이 나빠진 결과라면 서비스 비용이 정말 낮아졌다고 보기 어렵거든.

그리고 고객이 실제로 공개하는 운영 지표도 봐야 해. NVIDIA가 소개한 처리량 개선이 장기간의 비용 절감, 더 많은 동시 사용자, 더 낮은 응답 시간으로 이어지는지 확인되면 소프트웨어 층의 가치가 더 분명해질 거야. 반대로 새 모델이 나올 때마다 다른 하드웨어에서도 같은 최적화가 빨리 따라붙는다면, 이점은 특정 플랫폼의 해자보다 업계 전체의 효율 개선에 가까울 수 있어.

각주

1. NVIDIA/Amr Elmeleegy, 「How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost」(2026-06-30) NVIDIA Blog. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵