한 줄로 말하면
neocloud는 고성능 GPU 컴퓨팅에 특화된 AI 우선 클라우드 사업자이고, hyperscaler는 다양한 기업 워크로드를 위해 수백 종의 가상화 서비스를 제공하는 범용 글로벌 클라우드 플랫폼이야.1 이름이 다른 만큼 설계 방식도 완전히 달라서, 같은 AI 워크로드라도 어디에 올리느냐에 따라 속도와 비용이 크게 갈린다.
GPU 하드웨어 접근 방식이 카테고리를 가른다
hyperscaler와 neocloud를 가르는 기준은 이름이 아니라 컴퓨팅 자원을 나눠 쓰는 방식이야. hyperscaler는 멀티테넌트 하이퍼바이저와 추상화 계층으로 수많은 동시 워크로드가 같은 하드웨어를 나눠 쓰게 만들지만, 그 가상화 계층 자체가 처리 부담을 더한다.1 neocloud는 반대로 베어메탈 프로비저닝이나 가벼운 하이퍼바이저로 하드웨어에 직접 접근하게 해서 처리 지연을 줄이고 GPU 처리량을 끌어올린다.1
네트워크도 이 차이를 그대로 따라간다. neocloud는 여러 GPU 노드가 동시에 통신해야 하는 AI 학습을 위해 InfiniBand나 400G/800G 이더넷 기반의 논블로킹 네트워크 토폴로지를 깔아, 수천 개 GPU가 패킷 손실 없이 통신하게 만든다.1
요금 체계도 다르다. hyperscaler 요금제는 컴퓨트·스토리지·네트워크 송신·API 호출을 결합한 다층 구조이고, 장기 할인을 받으려면 대개 다년 예약 인스턴스 약정이 필요하다.1 neocloud는 원시 컴퓨팅 용량을 시간당으로 투명하게 과금해서 복잡한 송신 비용 없이 비용을 계산하기 쉽게 만든다.1 CoreWeave는 이 구조를 실제로 보여 주는 사례다 — 자사 플랫폼을 컴퓨트·스토리지·네트워킹·관리형 소프트웨어 서비스·클러스터 헬스 관리를 묶은 쿠버네티스 네이티브 GPU 클라우드라고 설명한다.2
왜 중요한가
이 구분이 중요한 이유는 AI 붐이 만든 GPU 수요가 hyperscaler의 범용 인프라로는 다 소화되지 않기 때문이야. GPU 인프라 하나에만 자원을 몰아넣은 덕에 neocloud는 최신 가속기 하드웨어에 범용 플랫폼보다 몇 주 앞서 접근하는 경우가 잦다.1 AI 모델을 학습시키려는 회사가 최신 GPU를 가장 빨리, 가장 예측 가능한 비용으로 구하려 할 때 hyperscaler 대신 neocloud를 찾는 이유가 여기 있다.
실제 예시
CoreWeave는 이 분류의 대표 사례로 꼽히는 neocloud 중 하나다.1 CoreWeave 자사 사이트는 자사 인프라가 추론 구동 속도를 10배 높이고 클러스터 goodput 96%를 달성하며 하루 장애 건수를 50% 줄인다고 밝힌다.2 OpenAI CEO 샘 알트먼은 CoreWeave를 두고 “가장 이르고 큰 컴퓨트 파트너 중 하나였고, 우리가 가장 잘 알려진 모델 몇 개를 만드는 데 이어진 대규모 컴퓨팅 클러스터를 구축하도록 도왔다”고 말했다.2 두 문장 모두 CoreWeave 자신과 그 파트너의 발언이라, 성능 수치는 CoreWeave가 주장하는 값으로 읽어야 한다.
헷갈리지 말아야 할 점
neocloud가 hyperscaler를 완전히 대체할 것이라는 통념은 틀렸다. 기업 환경은 성숙한 데이터베이스 서비스, 글로벌 콘텐츠 전송망, 폭넓은 SaaS 통합에 깊이 의존하는데 neocloud는 애초에 이런 서비스를 복제하려 하지 않는다.1 실제로 벌어지는 일은 대체가 아니라 공존이다 — hyperscaler와 neocloud가 서로 다른 운영 요구를 각자 맡는다.1
이어서 읽기
- NVIDIA — neocloud가 확보 경쟁을 벌이는 GPU를 만드는 회사다.
남은 질문들
- neocloud 시장 전체가 얼마나 크고 얼마나 빠르게 크는지, 자본지출·매출로 보는 통계는 무엇인가?
- CoreWeave 외 다른 neocloud(Lambda·Crusoe 등)는 재무 구조와 고객 기반이 어떻게 다른가?
- neocloud의 시간당 과금이 실제로 hyperscaler보다 저렴한지, 제3자가 검증한 가격 비교 자료는 있는가?
댓글