통신망을 이해하는 AI는 일반 모델 하나만 올린다고 만들어지지 않아. AT&T는 통신 네트워크와 표준, 운영 지식을 다루기 위해 Open Telco(OTel) 모델을 만들었고, OTel2.0 개발을 위해 모델과 GPU를 함께 바꾸는 방식을 택했어.1
이 사례에서 Microsoft가 강조하는 건 모델의 크기보다 조합이야. Microsoft Foundry Managed Compute에서 AT&T는 여러 오픈 모델과 여러 GPU 아키텍처를 한 환경에서 시험했고, 모델마다 다른 일을 맡겼어. Phi-4는 합성 데이터 생성과 데이터 준비에, OSS-120B는 추론 집약 작업에, Gemma 4는 OTel2.0 개발 과정에 사용됐다고 해.1
규모도 작지 않아. AT&T는 약 530개의 GPU를 사용했고, 그중 430개가 AMD Instinct MI300X였어. Phi-4는 한 달에 7,000억 개가 넘는 토큰을 처리했고, OTel2.0을 위해 처리한 토큰은 약 1조 개, 학습에 사용한 토큰은 약 4,000억 개였다고 Microsoft는 설명해.1
여기서 전용 컴퓨트가 하는 일은 단순히 GPU를 빌려주는 데 그치지 않아. AT&T는 별도의 배포와 인프라를 직접 관리하는 대신, Foundry Managed Compute에서 필요한 GPU 용량을 받아 모델별 작업을 나누고 아키텍처를 바꿔가며 시험했어. Microsoft는 이 환경에서 모델을 배포하고 확장하는 데 며칠이 걸렸고, 인프라를 기다리는 데 몇 주를 쓰지 않았다고 전해.1
비용의 기준도 달라졌어. Microsoft의 설명에 따르면 AT&T는 GSMA 원문과 합성 데이터를 합쳐 약 1조 토큰을 처리했고, Phi-4 같은 오픈 모델로 합성 데이터를 생성해 프런티어 모델을 사용할 때보다 수천만 달러를 아꼈다고 해. 이 숫자는 AT&T의 실제 비용 명세가 아니라 Microsoft가 고객 사례에서 제시한 주장이라는 점은 구분해야 해.1
그래서 이 발표에서 확인되는 변화는 “AMD GPU가 특정 모델을 이겼다”가 아니야. 하나의 모델과 하나의 가속기에 전체 워크로드를 맞추는 대신, 데이터 준비·합성 데이터 생성·추론 집약 작업·모델 개발을 나누고 그에 맞춰 모델과 하드웨어를 고르는 운영 방식이야. Microsoft Foundry는 이 선택을 한 플랫폼 안에서 묶는 역할을 내세우고 있어.1
아직 이 발표만으로는 몇 가지를 알 수 없어. OTel2.0이 실제 통신 서비스에서 어떤 정확도와 지연시간을 냈는지, 약 530개 GPU의 사용률과 비용이 어떻게 변했는지, AMD MI300X와 다른 GPU가 각각 어떤 작업에서 더 나았는지는 공개되지 않았어. 다음에 볼 것은 토큰 처리량 자체보다 이 모델이 실제 통신 업무에 배치됐을 때의 성능과 비용이야.
댓글