한 줄로 말하면
추론 비용은 이미 학습이 끝난 모델에 사용자 요청을 넣어 다음 토큰을 예측시키는 데 드는 비용이야. 이 비용은 요청마다 반복해서 나가는 매출원가라, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지할 만큼 쌓인다.1 그 크기는 하나의 숫자가 아니라 처리량(초당 몇 토큰을 뽑아내는지)·지연시간(첫 토큰까지 얼마나 기다리는지)·장비 활용률(GPU가 얼마나 놀지 않는지)·운영비(전력·냉각·네트워크)가 서로 밀고 당기며 정해져. 그래서 이 넷을 따로따로 보면, 같은 모델인데 회사마다 값이 다르게 매겨지는 이유와 토큰 가격이 떨어지는데도 마진이 저절로 늘지 않는 이유를 둘 다 놓친다.
비유로 이해하기
토큰이 사용자 요청에서 응답으로 돌아오는 경로를 공장 조립라인이라고 생각하면 감이 와. 원재료(텍스트)가 문 앞(게이트웨이)에서 규격에 맞게 잘리고, 여러 작업대를 순서대로 거쳐 완제품(응답)이 나와. 조립라인이 빨리 돌아가려면 작업대마다 사람이 놀지 않고 계속 일을 받아야 하고, 한 작업대가 막히면 그 뒤 전체가 밀린다.
여기까지가 감을 잡는 비유고, 실제 추론 파이프라인에는 조립라인에 없는 특징이 하나 있어 — 같은 라인이 성격이 정반대인 두 작업을 번갈아 한다는 것. 입력 전체를 한꺼번에 재단하는 작업과 완제품을 한 조각씩 뽑아내는 작업은 필요한 설비 자체가 달라서, 병목의 정체가 라인 안에서 계속 바뀌어. 이 차이부터가 이 개념의 진짜 내용이다.
토큰 하나가 응답으로 돌아오기까지
추론 요청 하나는 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐시, GPU·HBM, CUDA 커널, NVLink·스위치·NIC·Ethernet을 거쳐 다시 응답으로 돌아오는 경로를 통과해.1 이 중 비용과 지연시간이 가장 크게 쌓이는 지점이 GPU 메모리 관리다.
각 어텐션 계층에서 토큰마다 만들어지는 Key·Value 벡터(KV 캐시)는 다음 토큰이 이전 모든 토큰을 참조할 때 쓰이는데, 크기가 요청마다 커지고 줄어들어 메모리를 통짜로 예약하면 단편화와 중복으로 낭비가 커진다.2 2023년 발표된 PagedAttention은 운영체제의 가상 메모리·페이징 기법에서 착안해, KV 캐시를 페이지 단위로 나눠 관리하는 방식을 제안했다.2 이 알고리즘 위에 저자들은 vLLM이라는 서빙 시스템을 만들었다.2 저자들의 평가에서 vLLM은 같은 지연 수준을 유지하면서 FasterTransformer·Orca 같은 기존 시스템 대비 처리량을 2~4배 개선했다.2 이 개선폭은 시퀀스가 길고 모델이 크고 디코딩 알고리즘이 복잡할수록 더 뚜렷했다.2
프리필과 디코드, 손잡이가 서로 다르다
입력을 병렬로 처리하는 프리필과 토큰을 하나씩 생성하는 디코드는 같은 GPU 안에서 요구하는 것이 정반대야. 프리필은 연산량과 최초 토큰 지연시간에 묶이고, 디코드는 메모리 대역폭과 생성 속도·비용에 묶인다. 그래서 배치를 키워 GPU를 계속 채우는 지속 배치, 반복 입력의 KV 캐시를 재사용하는 프롬프트 캐싱, 가중치를 더 적은 바이트로 표현하는 양자화, 작은 모델이 후보를 미리 제안하고 큰 모델이 한 번에 검증하는 추측 디코딩은 각각 다른 병목을 겨냥한 손잡이다.
프롬프트 캐싱은 반복 입력 비용을 최대 90%, 긴 프롬프트의 지연시간을 약 85% 낮춘다.1 Anthropic은 캐시 읽기를 일반 입력 가격의 0.1배인 100만 토큰당 0.30달러(일반 입력 3달러)에 제공하고, OpenAI GPT-5.x는 캐시 입력 0.50달러(일반 입력 5달러)로 두 회사 모두 90% 할인을 적용한다.1 양자화도 같은 방향의 손잡이인데, 70B 모델은 FP16에서 약 140GB라 80GB GPU 두 대가 필요하지만 FP8에서는 약 70GB로 줄어 GPU 한 대에 KV 캐시 공간까지 남길 수 있다.1 NVIDIA의 4비트 형식 NVFP4는 FP8보다 약 2~3배 높은 산술 처리량과 약 1.8배의 메모리 절감을 제공하면서 정확도 차이는 약 1% 이내로 유지한다.1
GPU 밖으로 번진 병목 — 네트워크와 전력
한 GPU에 들어가지 않는 초대형 모델은 여러 GPU에 쪼개져 계층마다 통신이 발생해. NVIDIA의 GB200 NVL72는 72개 GPU와 36개 CPU를 하나의 연결망으로 묶어 총대역폭 130TB/s, 통합 메모리 13.4TB, 전력 약 120kW로 초대형 모델에서 기존 GPU 클러스터 대비 최대 30배 높은 추론 처리량을 낸다.1
이 연결망 밖에서는 광학 부품과 전력이 새로운 병목이 된다. 광 트랜시버는 네트워크 비용의 약 60%, 네트워크 전력의 약 45%를 차지하고, 네트워크 자체가 전체 클러스터 비용의 15~18%이므로 광학 부품만으로 전체 비용의 약 10%에 해당한다.1 4대 하이퍼스케일러가 2026년 제시한 자본지출 약 7,250억 달러(전년 대비 77% 증가) 중 60% 이상이 칩이 아니라 전력·냉각·건물에 들어간다.1 이 자본지출이 반복되는 구조는 자본지출 사이클로 따로 정리돼 있다.
효율 차이를 마진으로 바꾸는 사람들
커널·배치·양자화·추측 디코딩을 다루는 기술 자체는 라이선스로 팔기보다, 그 기술을 자기 인프라에서 돌려 토큰으로 파는 회사들이 늘고 있어. 추론 전용 실리콘 시장만 2026년 500억 달러를 넘을 전망이다.1
왜 중요한가
추론이 AI 컴퓨팅에서 차지하는 비중은 2023년 약 3분의 1에서 2025년 절반, 2026년 약 3분의 2로 확대됐다.1 배포된 모델 입장에서 추론은 학습처럼 한 번 치르는 비용이 아니라 요청마다 반복되는 매출원가라, 생애 컴퓨팅 비용의 80~90%를 차지한다.1 그래서 모델을 잘 만드는 것과 그 모델을 싸고 빠르게 서빙하는 것은 완전히 다른 능력이 됐고, 이 서빙 능력이 어느 회사가 같은 모델로 더 남기는지를 가른다.
실제 예시 — Google의 토큰 처리량이 늘어난 속도
Google은 2026년 5월 기준 자사 서비스 전반에서 월 3.2천조 개 토큰을 처리한다고 공개했다.1 이 숫자는 1년 전 월 480조 개의 7배이고, 2024년 초 월 9.7조 개와 비교하면 훨씬 더 큰 폭으로 늘어난 것이다.1 이 증가는 학습이 아니라 사용자 요청에 응답하는 비용에서만 나온 것이라, 추론 비용이 얼마나 빠르게 회사의 전체 컴퓨팅 지출을 잠식하는지를 보여준다.
증가를 밀어붙인 두 축도 확인됐다. 추론 시간을 늘려 답을 정교하게 만드는 방식과 에이전트 시스템은 질의 하나당 10~100배 많은 토큰을 쓰고, 에이전트 워크플로는 재시도·도구 호출·컨텍스트 재로딩 때문에 단일 요청보다 작업당 5~25배 비싸다.1
헷갈리지 말아야 할 점
“토큰 가격이 계속 떨어지니 추론 사업은 남는 게 없는 박리다매다”라고 생각하기 쉬워. 하지만 가격이 싸질수록 사용량 자체가 늘어나는 쪽으로 움직인다 — 위 Google 사례처럼 에이전트 워크플로가 질의당 10~100배 많은 토큰을 쓰면서 전체 사용량을 밀어 올렸다.1 결과적으로 값이 내려가는 속도보다 시장 규모가 커지는 속도가 더 빠를 수 있다. 이 개념을 정리한 필자도 토큰 경제의 규모가 커진다고 마진이 자동으로 보장되지는 않으며, 메모리·연결망·광학·전력 같은 물리적 병목을 쥐고 그 효율을 고객 고착으로 바꾼 플랫폼만 가격 하락 속에서도 방어력을 가진다고 결론짓는다.1 그러니 “토큰 값 하락 = 추론 사업의 위기”도, “토큰 값 하락 = 모두에게 좋은 소식”도 아니고, 누가 저 물리적 병목과 전환 비용을 쥐고 있는지가 갈림길이다.
이어서 읽기
- HBM — 디코드 단계의 속도 상한을 정하는 메모리 대역폭 병목을 다룬다.
- 자본지출 사이클(capex cycle) — 하이퍼스케일러의 대규모 투자가 왜 반복되고 언제 방향이 꺾이는지 다룬다.
- NVIDIA — NVFP4·NVLink·GB200 같은 추론 하드웨어 표준을 만드는 회사.
- Google DeepMind — 위 토큰 처리량 사례의 당사자.
- Anthropic — 프롬프트 캐싱 할인 가격의 예시 제공사.
남은 질문들
- 분리형 서빙(프리필·디코드를 별도 GPU 풀로 나누는 구조)이 실제 운영 비용을 얼마나 낮추는지 보여주는 벤치마크 원문이 아직 없다.
- 추론 전용 실리콘(ASIC) 시장이 GPU 범용 인프라를 얼마나 대체할지는 이 페이지가 다루는 범위 밖이라 지켜볼 대목이다.
댓글