AWS가 GPU를 200만 개 더 사는 것은 활용률이 아직 낮다는 신호다

이 문서는 자라는 중인 주장입니다. 아직 근거를 모으고 있으며, 내용이 바뀔 수 있습니다.

Amazon 산하 AWS가 NVIDIA GPU를 200만 개 더 배치하기로 합의했어.¹ 물량은 2027년과 2028년에 걸쳐 순차로 들어와.¹ 이런 숫자는 보통 “수요가 그만큼 크다”는 증거로 읽히지.

나는 좀 다르게 봐. 이 200만 개는 수요의 크기만큼이나, 이미 깔린 GPU에서 아직 못 뽑아낸 몫의 크기를 함께 재고 있어. 같은 주에 AWS 자신이 공개한 사례에서는 소프트웨어 설정만 바꿔 같은 일을 하는 데 필요한 GPU가 16대에서 4대로 줄었어.² 그렇다면 2027~2028년에 실제로 필요한 물량을 정하는 건 발주 계약이 아니라 이 손잡이가 퍼지는 속도야.

왜 지금

AWS의 가속기 재고는 세대가 바뀌어도 줄지 않아. AWS CEO Matt Garman은 6년 된 A100 서버를 아직도 “한 대도 은퇴시킨 적이 없다”고 말한 적이 있어.¹ 이번 200만 개에는 Blackwell Ultra, Rubin, Rubin Ultra가 들어가는데,¹ 옛 세대를 빼지 않은 채 새 세대를 얹으니 이건 교체가 아니라 순수하게 더하는 증설이야.

쌓기만 하는 재고에는 두 가지 해석이 붙을 수 있어. 하나는 옛 세대까지 다 돌려야 할 만큼 수요가 넘친다는 거고, 다른 하나는 한 대에서 뽑아내는 몫이 낮아 대수로 메우고 있다는 거야. 이번 주에 후자를 재 볼 수 있는 숫자가 나왔어.

통념과 비대칭

통념 쪽 근거는 단단해. NVIDIA의 2026 회계연도 2분기 매출은 962억 달러로 전 분기 대비 18%, 전년 대비 106% 늘었고 GAAP·non-GAAP 총마진 모두 75%를 기록했어.¹ 팔리는 만큼 만들어 내는 회사고, 그 고객이 200만 개를 더 받기로 한 거야.

통념이 세지 않는 건 이미 깔린 장비가 얼마나 노는지야. AWS 기계학습 블로그가 공개한 사례에서, 전 세계 190개국의 임상 상담을 처리하는 Heidi Health는 요청 하나가 GPU 연산력의 15~20%만 쓰는데도 CUDA의 기본 동작인 타임슬라이싱이 프로세스마다 GPU를 순서대로 독점하게 만들어 나머지 80%를 놀렸어.² 이건 이 회사만의 실수가 아니라 아무 설정도 하지 않았을 때의 기본 동작이야.

여기에 AWS 자신의 진단이 겹쳐. Andy Jassy는 실행 환경·메모리·신원·도구 연결·관측 수단을 안정적으로 엮는 일이 어렵고, 그 어려움 때문에 많은 프로덕션 배포가 멈춰 섰다고 말했어.³ 병목을 가속기 개수에 두지 않은 건 파는 쪽 본인이야.

근거

첫째, 재고는 쌓이기만 해. 6년 된 A100이 한 대도 은퇴하지 않은 상태에서 200만 개가 2027~2028년에 걸쳐 더 들어와.¹ AWS와 엔비디아의 GPU 200만 개 증설 합의 정리에서 이 발표의 구성을 자세히 다뤘어.

둘째, 그 재고에는 아직 큰 여유가 있어. 같은 워크로드에 NVIDIA CUDA MPS를 적용하자 GPU 한 대의 처리량이 초당 62건에서 92.1건으로 올라가면서 필요한 GPU 수가 16대에서 4대로, 75% 줄었어.² 추론 엔진을 TensorRT+ONNX로 바꾸면 초당 111.6건까지 올라가 GPU 2대로도 충분해져 88% 절감까지 갔어.² MPS는 CUDA API를 그대로 쓰는 바이너리 호환 구현이라 코드를 바꾸지 않고도 여러 프로세스가 GPU 하나를 동시에 공유하게 해줘.² 이 최적화는 특정 모델에 묶이지 않고 NVIDIA Canary·OpenAI Whisper large-v3에서도 같은 방식으로 검증됐어.²

같은 작업량을 소화하는 데 필요한 GPU가 소프트웨어 손잡이만으로 16대에서 4대, 다시 2대로 줄었어.

셋째, AWS 자신이 병목을 가속기 밖에 둬. Jassy는 파운데이션 모델을 학습시킨 뒤의 post-training, 강화학습, 에이전트가 도구를 쓰는 과정은 AI 가속기가 아니라 대부분 CPU에서 돌아간다고 설명했어.³ AWS의 CPU 칩 Graviton이 다른 선택지보다 가격 대비 성능이 최대 30~40% 낫다는 게 그 설명에 붙은 근거야.³ 아마존이 Bedrock AgentCore를 만든 이유도 배포가 멈춰 선 그 지점을 겨냥해서라고 그는 말했어.³ 이 두 이야기는 AWS 2분기 실적에서 Jassy가 말한 성장과 정체에 함께 정리돼 있어.

세 갈래를 겹치면 이렇게 읽혀. 옛 재고는 남고, 그 재고의 활용률에는 배 단위의 여유가 있고, 매출을 만드는 층은 가속기 위가 아니라 그 밖에 있어. 활용률 손잡이는 추론 비용을 정하는 네 축 중 하나고, 이 축이 움직이면 같은 매출을 만드는 데 필요한 물량이 달라져.

이 주장이 틀리는 조건

가장 강한 반론은 Jassy 본인의 설명이야. AI 워크로드가 늘수록 그 뒤처리가 CPU·저장·데이터베이스 같은 core 인프라로 흘러들어 온다면,³ 활용률 개선은 총수요를 줄이는 게 아니라 지출을 다른 층으로 옮기는 일이 돼. 그 경우 200만 개는 여전히 수요의 크기를 정직하게 재고 있는 셈이야.

숫자도 반론 쪽에 있어. AWS 매출 성장률은 전년 대비 36.7%로 18개 분기 만에 가장 빨랐고,³ 칩 사업과 AI 사업이 각각 연환산 250억 달러를 넘기며 둘 다 전년 대비 세 자릿수 % 성장 중이야.³ 유휴 장비로 굴러가는 회사의 성장 곡선으로 보기는 어렵지.

세대 성능차도 대수와 무관한 발주 근거가 돼. AWS는 EC2 G7 인스턴스의 RTX Pro 4500 Blackwell GPU가 이전 세대인 G6 대비 AI 추론 성능 4.6배, 그래픽 성능 2.1배라고 밝혔어.¹ 성능이 이만큼 벌어지면 활용률과 별개로 새 세대를 들일 이유가 생겨.

다음 확인 지표

• 2028년 말까지 배치 일정. 200만 개는 2027년과 2028년에 걸쳐 나눠 들어와.¹ 이 일정이 뒤로 밀리거나 물량이 조정되면 이 주장은 강해져.
• 구세대 은퇴 발표. AWS가 6년 된 A100 서버를 한 대도 은퇴시키지 않았다는 진술¹이 뒤집혀 은퇴가 공식화되면, “쌓기만 한다”는 전제가 깨지고 이 주장은 약해져.
• AI 사업 성장률. 연환산 250억 달러를 넘긴 AI 사업의 세 자릿수 성장률³이 2027년까지 유지되면 이 주장은 약해지고, 둔화되는데도 물량 발표가 이어지면 강해져.

판단 고지

개인 판단 기록이고 투자 추천이 아니다.

남은 질문들

• AWS는 서버·가속기의 감가상각 내용연수를 몇 년으로 잡고 있나. 은퇴시키지 않는 장비가 장부에서는 어떻게 처리되는지가 이 주장의 재무적 무게를 정해.
• Heidi Health 사례의 활용률 여유가 음성인식 밖의 워크로드에서도 같은 크기로 나타나나. 지금 근거는 한 사례뿐이야.
• 하이퍼스케일러가 활용률을 올리면 그 이득은 고객 요금 인하로 가나, 사업자 마진으로 남나. 이 갈림이 자본지출 사이클의 다음 국면을 다르게 만들어.

각주

1. DatacenterDynamics, 「AWS to deploy 2 million additional Nvidia GPUs」(2026-08-27) 기사 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹

2. AWS Machine Learning Blog(AWS·NVIDIA·Heidi 공동 게시), 「Reduce ASR inference costs by 75% with NVIDIA MPS on Amazon EC2」(2026-08-28) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶

3. Amazon, 「Q2 Earnings: Andy Jassy on why AWS is booming and what it means for customers」(2026-07-31) 뉴스룸 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸