AI 서비스 비용을 볼 때 자꾸 GPU 가격부터 보게 돼. 틀린 출발은 아니야. 그런데 토큰 하나가 답으로 돌아오기까지의 길을 보면, GPU는 가운데 있는 큰 관문일 뿐이야.
이 글이 정리한 핵심은 단순해. 하나의 요청은 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐시, GPU·HBM, CUDA 커널, NVLink·스위치·NIC·Ethernet을 지나 응답으로 돌아와. 원문은 이 경로를 15단계로 쪼개 보여줘.1
flowchart LR A[텍스트 요청] --> B[토큰화·게이트웨이] B --> C[인증·라우팅] C --> D[배치·스케줄링] D --> E[KV 캐시·GPU 메모리] E --> F[HBM·커널·NVLink] F --> G[스위치·NIC·Ethernet] G --> H[응답 스트리밍·정산]
왜 지금 이 경로가 중요해졌나
추론은 이제 AI 컴퓨팅의 중심 비용이 됐어. 원문은 2026년 AI 추론이 전체 AI 컴퓨팅의 약 3분의 2까지 커졌고, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지한다고 정리해. Google은 2026년 5월 자사 서비스 전반에서 월 3.2천조 개 토큰을 처리한다고 공개했고, 1년 전 월 480조 개보다 7배 늘었다고 했어.
이 숫자가 중요한 이유는 학습이 아니라 반복 비용이기 때문이야. 모델을 한 번 훈련하는 비용이 아니라, 사용자가 질문할 때마다 다시 발생하는 원가라는 뜻이지. 그래서 추론 비용은 “GPU를 샀다”에서 끝나지 않고, 목표 지연시간 안에서 토큰을 얼마나 싸고 안정적으로 흘려보내느냐의 문제가 돼.
원문은 수요 쪽에서도 두 가지 변화를 짚어. 추론 시간 확장과 에이전트 시스템은 질의당 10~100배 많은 토큰을 소비할 수 있고, 에이전트 워크플로는 재시도·도구 호출·컨텍스트 재로딩 때문에 단일 요청보다 작업당 5~25배 비쌀 수 있다는 거야.
그러면 토큰 가격이 내려가도 전체 비용이 줄지 않을 수 있어. 고정된 품질 수준을 제공하는 비용은 2024년 초부터 연간 중앙값 약 200배 하락했지만, 저렴해진 토큰이 더 많은 작업을 열어 전체 사용량을 늘리는 제본스 역설이 나타난다는 설명이 붙어.
병목은 세 번 갈라진다
첫 번째 병목은 요청을 어디로 보낼지 고르는 단계야. 일반 부하 분산은 같은 모델 복제본에 요청을 나누지만, LLM에서는 같은 시스템 프롬프트나 문서 접두사를 가진 요청을 서로 다른 복제본으로 보내면 캐시 재사용 기회를 잃을 수 있어. 그래서 최신 AI 부하 분산은 같은 접두사의 KV 캐시가 있는 복제본을 고르는 방향으로 가.
두 번째 병목은 프리필과 디코드의 차이야. 프리필은 입력 토큰을 병렬로 읽는 단계라 연산량과 최초 토큰 시간에 묶여. 디코드는 답을 한 토큰씩 만드는 단계라 전체 모델 가중치와 커지는 KV 캐시를 계속 읽어야 하고, 이때는 HBM 대역폭이 생성 속도와 비용의 상한을 정해.
세 번째 병목은 네트워크야. 단일 GPU에 들어가지 않는 큰 모델이나 MoE 모델은 여러 GPU에 나뉘고, 토큰마다 GPU 사이 통신이 생겨. 원문은 네트워크가 디코드 루프 바깥의 보조 장치가 아니라 디코드 루프 내부에서 동작한다고 표현해. NVLink, NVSwitch, InfiniBand, Ethernet, 광학 부품이 전부 추론 비용의 일부가 되는 이유가 여기 있어.
싸게 만드는 기술도 서로 다른 곳을 겨냥한다
지속 배치는 GPU를 더 오래 채우는 기술이야. 스케줄러가 매 순전파마다 새 요청을 추가하고 끝난 시퀀스를 제거하면, 고정된 요청 묶음이 끝날 때까지 기다리지 않아도 돼. 원문은 vLLM이 이 방식으로 이전 서빙 시스템보다 2~4배 높은 처리량을 내고, 같은 H100의 단순 PyTorch 루프보다 3~5배 많은 트래픽을 처리한다고 정리해.
프롬프트 캐싱은 같은 앞부분을 다시 계산하지 않게 해. 원문은 캐시 입력 할인이 일반 입력보다 최대 90% 낮고, 긴 프롬프트에서는 지연시간도 약 85% 줄어든다고 설명해. 단, 캐시는 공짜 마법이 아니야. 앞부분이 실제로 공유되어야 하고, 그 기록을 GPU 메모리에 담을 수 있어야 해.
양자화와 커널 최적화는 또 다른 곳을 건드려. FP16에서 FP8, FP4로 정밀도를 낮추면 토큰마다 읽어야 할 가중치 바이트 수가 줄어 디코드 처리량이 늘 수 있어. 커널 융합과 FlashAttention은 중간 데이터를 HBM에 여러 번 쓰고 읽는 일을 줄여 대역폭 병목을 완화해.
그래서 같은 “추론 최적화”라도 목표가 달라. 배치는 유휴 시간을 줄이고, 캐시는 반복 계산을 줄이고, 양자화는 읽어야 할 바이트를 줄이고, 네트워크 최적화는 GPU들이 서로 기다리는 시간을 줄여.
그래서 무엇을 봐야 하나
원문이 마지막에 남기는 관점은 꽤 차가워. 토큰 경제의 규모 확대가 높은 마진을 자동으로 보장하지는 않아. 메모리, 연결망, 광학, 전력 병목과 효율을 고객 고착으로 바꾼 플랫폼만 가격 하락 속에서도 방어력을 가질 수 있다는 거야.
이 말은 특정 회사가 이긴다는 결론이 아니야. 여기서 확인할 수 있는 건 그보다 좁아. 앞으로 추론 인프라를 볼 때는 모델 성능표나 GPU 수량만 보면 부족해. 첫 토큰 시간, p99 꼬리 지연시간, 캐시 적중률, 출력 토큰 비중, HBM 대역폭, 네트워크 전력까지 같이 봐야 해.
토큰 하나가 느려지는 곳이 곧 돈이 새는 곳이야. 그리고 2026년의 AI 인프라 경쟁은 그 새는 지점을 어느 계층에서 막느냐의 싸움에 가까워지고 있어.
댓글