DeepInfra

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

DeepInfra는 AI 인프라가 꼭 거대 하이퍼스케일러의 데이터센터 안에서만 커지지는 않는다는 점을 보여주는 이름이야. 이 회사가 내세우는 자리는 비교적 분명해. 고객이 직접 GPU를 사고 운영하지 않아도, 최신 GPU가 붙은 추론용 클라우드에서 모델을 돌릴 수 있게 하는 쪽이지.

이번에 눈에 띄는 지점은 토론토야. DeepInfra는 캐나다 토론토에 1.7MW 규모의 새 위치를 열었고, 그곳에 1,000개가 넘는 NVIDIA Blackwell B300 GPU를 둘 예정이라고 했어.¹ 이 숫자만으로 회사의 경쟁력을 판단할 수는 없지만, “미국 밖 첫 위치”라는 점 때문에 이 회사를 계속 볼 이유는 생겼어.

한 줄로 말하면

DeepInfra는 AI 모델 추론을 위한 GPU 클라우드 사업자야. 토론토 클러스터는 AI 전용 클라우드가 최신 Blackwell GPU, 전력, 지역 배치를 어떻게 묶어 가는지 볼 수 있는 사례야.

무엇인가

DeepInfra는 2022년에 세워진 Palo Alto 기반 회사야.¹ 기사 기준으로 이 회사는 추론 플랫폼에서 Blackwell GPU를 제공하고 있고, 이후 Vera Rubin GPU도 추가할 계획이라고 해.¹

여기서 중요한 단어는 추론이야. 모델을 새로 학습시키는 일보다, 이미 만들어진 모델에 요청을 넣고 답을 받아내는 운영에 가깝지. 그래서 이 회사를 볼 때는 GPU 보유량만이 아니라 응답 시간, 처리량, 모델 배치 방식, 고객 데이터가 어느 지역에 머무는지를 함께 봐야 해. 이 관점은 추론 비용과 바로 이어져.

왜 계속 등장하는가

AI 서비스가 실험에서 실제 제품으로 넘어가면, GPU는 한 번 크게 빌리는 훈련 장비가 아니라 계속 켜져 있어야 하는 서비스 설비가 돼. DeepInfra CEO Nikola Borisov도 기업들이 실험에서 운영으로 빠르게 이동하고 있고, 그 변화가 확장 가능하면서도 전 세계에 분산된 인프라를 요구한다고 말했어.¹

이건 회사의 주장이라 그대로 받아들이면 안 돼. 다만 토론토 클러스터가 미국 밖 첫 위치라는 사실은, 추론 클라우드가 단순히 “GPU를 싸게 빌려주는 곳”을 넘어 지역성까지 팔아야 할 수 있음을 보여줘. 사용자의 위치, 데이터가 머무는 곳, 지연 시간, 규제와 고객 조달 조건이 모두 리전 배치와 연결되기 때문이야.

이 대상을 볼 때의 핵심 축

• 지역 배치. 토론토는 DeepInfra의 아홉 번째 데이터센터 위치이자 미국 밖 첫 위치로 소개됐어.¹ 앞으로는 새 리전이 고객 수요 때문인지, 전력·부지 확보 때문인지, 데이터 위치 요구 때문인지 나눠 봐야 해.
• 전력과 GPU 묶음. 발표된 설비는 1.7MW이고, 1,000개가 넘는 NVIDIA Blackwell B300 GPU를 둘 예정이야.¹ 이 규모가 실제 가동률과 고객 사용량으로 이어지는지는 별도 확인이 필요해.
• 자금 조달. 새 위치 발표는 DeepInfra가 Series B에서 1억700만 달러를 조달한 직후 나왔어. 2025년 4월 Series A에서는 1,800만 달러를 조달했어.¹ 최신 GPU 클라우드는 자본을 먼저 크게 넣어야 하므로, 조달 규모와 장비 확장 속도를 같이 봐야 해.
• 세대 전환. 회사는 Blackwell GPU를 제공하고 있고, 이후 Vera Rubin GPU도 추가할 계획이라고 해.¹ 최신 GPU 접근성이 차별점인지, 아니면 다른 사업자도 금방 따라오는 상품인지 확인해야 해.

최근 관찰된 신호

토론토 클러스터는 DeepInfra의 첫 미국 밖 위치야. 기사에 따르면 이 설비는 1.7MW 용량을 제공하고, 1,000개가 넘는 NVIDIA Blackwell B300 GPU를 호스팅할 예정이야.¹

다만 운영 형태는 아직 흐릿해. DCD는 이 데이터센터가 제3자 시설의 임대 용량일 가능성이 높다고 썼고, DeepInfra에 데이터센터와 전체 footprint에 대한 추가 정보를 문의했다고 밝혔어.¹ 그래서 이 페이지에서는 토론토를 “확정된 자체 데이터센터 전략”이 아니라, 확인해야 할 지역 확장 신호로만 둬야 해.

헷갈리지 말아야 할 점

• GPU 수가 곧 사용량은 아니야. 발표된 GPU 배치 계획은 공급 능력에 가까워. 실제 매출, 고객 수, 가동률은 따로 확인해야 해.
• AI 전용 클라우드라고 해서 모두 같은 사업은 아니야. DeepInfra가 추론 플랫폼을 앞세운다면, 학습 클러스터를 장기 임대하는 사업자와 비용 구조와 고객 요구가 다를 수 있어.
• 토론토가 전략의 답이라는 뜻은 아니야. 캐나다 최대 데이터센터 시장이라는 배경은 있지만,¹ 이 위치가 고객 지연 시간, 데이터 위치, 전력, 비용 중 무엇 때문에 선택됐는지는 아직 확인이 부족해.

이어서 읽기

DeepInfra를 더 큰 범주에서 보려면 AI 전용 클라우드를 먼저 읽으면 좋아. 최신 GPU 세대가 왜 인프라 단위로 등장하는지는 Blackwell, 추론 서비스의 비용 구조는 추론 비용으로 이어져. GPU 공급과 소프트웨어 생태계의 중심 회사는 NVIDIA야.

남은 질문들

• DeepInfra의 토론토 클러스터는 어느 사업자의 시설을 쓰며, 고객에게 어떤 네트워크·가용성 조건으로 제공될까?
• DeepInfra의 추론 플랫폼은 API, 전용 인스턴스, 모델 호스팅, 관리형 서빙 중 어디에 초점을 두고 있을까?
• Blackwell B300 배치가 토큰당 비용, 첫 응답 시간, 동시 요청 처리량에서 실제로 어떤 차이를 만들까?
• Series B 자금은 GPU 조달, 리전 확장, 소프트웨어 개발 중 어디에 주로 쓰일까?

각주

1. Data Center Dynamics, 「DeepInfra deploys AI inference cloud in Toronto, Canada, data center」(2026-07-10) DCD. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹ ↩︎¹⁰ ↩︎¹¹