추론 비용

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

한 줄로 말하면

추론 비용은 GPU 한 대의 가격이 아니라, 정해진 응답 시간 안에 실제로 쓸 수 있는 답을 얼마나 많이 내보내느냐로 갈려.

비유로 이해하기

배달 한 건의 비용을 오토바이 가격으로만 계산하면 배차와 대기 시간을 놓치게 돼. 같은 오토바이도 주문을 잘 묶고, 길이 막힌 구간을 피하고, 쉬는 시간을 줄이면 같은 시간에 더 많은 배달을 할 수 있지.

AI 서비스도 비슷해. GPU는 오토바이에 가깝고, 모델을 올리고 요청을 배치하고 메모리와 네트워크를 맞물리게 하는 소프트웨어는 배차 시스템에 가까워. 여기까지가 직관을 위한 비유야. 실제 비용에는 전력, 네트워크, 저장소, 운영 인력처럼 배달 비유 밖의 항목도 함께 들어가.

정확한 정의

추론 비용은 학습이 끝난 모델이 사용자의 입력을 받아 답을 만들 때 드는 자원을 뜻해. 서비스에서는 보통 토큰 하나를 보내는 데 든 비용으로 환산하지만, 그 숫자는 모델 계산량만으로 정해지지 않아.

같은 장비에서도 처리량이 높아지면 고정된 장비·전력 비용을 더 많은 토큰에 나눌 수 있어. 다만 요청을 무작정 밀어 넣어 첫 응답이 늦어지면, 비용표의 숫자가 좋아 보여도 사용자가 체감하는 서비스는 나빠질 수 있지. 그래서 처리량, 첫 응답 시간, 동시 요청 수를 함께 봐야 해.¹

flowchart TD
    A[장비·전력·네트워크·운영 비용] --> E[유용한 토큰당 비용]
    B[모델 실행과 메모리 관리] --> E
    C[요청 배치·자동 확장] --> E
    D[처리량과 응답 시간] --> E

왜 중요한가

같은 모델과 GPU를 써도 서비스마다 토큰당 비용이 다른 이유가 여기 있어. 요청이 몰릴 때 장비가 놀거나, 메모리가 먼저 차거나, 계산과 네트워크 통신이 서로 기다리면 GPU의 이론 성능은 비용 절감으로 바로 이어지지 않아.

NVIDIA는 이 문제를 운영, 모델 실행 가속, 하드웨어 접근이라는 세 층의 결합으로 설명해. 이 회사는 요청 배치·자동 확장·메모리 관리, 계산과 통신의 겹치기, 커널 최적화가 함께 작동해야 처리량과 비용이 달라진다고 말해.¹ 이는 특정 플랫폼의 설명이므로, 다른 장비와 서비스에서도 같은 폭의 효과가 난다는 뜻은 아니야.

실제 예시

NVIDIA의 추론 소프트웨어 사례에서는 같은 Blackwell 장비에서 모델 실행 방식과 소프트웨어를 조합해 처리량을 높이는 사례가 나와. 회사는 특정 구성에서 토큰당 비용을 최대 5분의 1로 낮췄다고 했지만, 비교 조건과 전체 운영비는 독립 자료로 더 확인해야 해.¹

KV 캐시는 비용 계산에 메모리를 넣어야 하는 이유를 보여 줘. 이미 읽은 문맥의 중간 계산을 남겨 두면 다음 답을 빠르게 만들 수 있지만, 그 기록이 커지면 동시에 받을 수 있는 요청 수와 메모리 사용량이 함께 바뀌어.

헷갈리지 말아야 할 점

• 토큰당 비용이 낮다고 서비스 전체 비용이 자동으로 낮아지는 것은 아니야. 네트워크, 저장소, 운영 인력, 유휴 장비 비용도 남아.
• 처리량이 높다고 응답이 항상 좋아지는 것도 아니야. 대기열을 길게 만들어 처리량만 끌어올린 결과인지 첫 응답 시간과 함께 봐야 해.
• 하드웨어 성능과 소프트웨어 효율은 경쟁 관계만이 아니야. 같은 장비를 더 잘 쓰게 만드는 소프트웨어가 비용을 바꿀 수 있지만, 그 개선이 특정 플랫폼에만 남는지는 별도의 질문이야.

관련 문서

• 토큰 가격은 GPU 뒤에서 다시 갈린다
• KV 캐시

남은 질문들

• 같은 모델과 응답성 조건에서 서로 다른 추론 엔진의 비용은 얼마나 벌어질까?
• 긴 문맥과 동시 요청 수가 늘 때, 메모리 비용과 GPU 활용률은 어디서 충돌할까?
• 클라우드 사용료와 운영 인력까지 포함하면 토큰당 비용은 어떻게 달라질까?

각주

1. NVIDIA/Amr Elmeleegy, 「How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost」(2026-06-30) NVIDIA Blog. ↩︎ ↩︎² ↩︎³