추론은 칩만으로 끝나지 않아

AI 반도체의 경쟁 무대가 모델을 만드는 학습에서 실제 서비스가 답을 내는 추론으로 옮겨가고 있어. NPU는 학습을 마친 모델의 추론에 맞춘 반도체라서, GPU보다 전력과 비용을 줄일 대안으로 소개돼.¹

그렇다면 국산 NPU의 첫 관문은 칩의 성능표가 아니야. 정부는 올해부터 5년 동안 공공이 보유한 5만여 대의 CCTV를 NPU 기반 AI 모니터링 체계로 바꾸는 사업을 추진하고, 국방 분야에서도 해군 CCTV를 국산 NPU 기반 관제 체계로 교체할 계획이야. 공공 현장을 실제 사용처로 삼아 초기 시장을 열겠다는 그림이지.¹

민간에서는 더 구체적인 서비스 사례가 나왔어. 업스테이지의 언어 모델 ‘솔라’를 퓨리오사AI의 NPU ‘레니게이드’에서 돌려 다음의 실시간 검색 요약 서비스에 적용했다는 발표야. 세 회사는 국산 NPU가 엔비디아 GPU와 비슷한 성능을 내면서 토큰 처리 비용을 크게 낮출 수 있다고 설명했고, 레니게이드는 하루 약 5억 개의 토큰을 처리하고 있다고 밝혔어.¹

여기서 주체의 설명과 확인된 사실을 갈라야 해. 실제 서비스에 적용한 사례와 하루 처리량은 제시됐지만, GPU와의 성능 비교 조건이나 비용 절감 폭, 다른 모델을 올릴 때 필요한 작업은 이 자료에 나오지 않아. 레니게이드를 연내 1만 장 공급할 수 있다는 계획도 실제 출하와 여러 고객의 반복 사용으로 이어지는지는 따로 확인해야 해.¹

국산 NPU가 넘어야 할 벽은 그래서 칩 바깥에 있어. 한국지능정보사회진흥원은 소프트웨어 생태계와 공공·민간 레퍼런스가 성패를 가른다고 봤고, 업계는 엔비디아 CUDA 의존, 부족한 고객 사례, 자본력과 전문 인력 부족을 과제로 꼽았어. 칩의 성능만으로는 소프트웨어와 실제 도입 사례까지 설명할 수 없다는 지적이야.¹

이 조건은 로봇 현장으로도 넓어지고 있어. 정부는 5G 단독모드와 AI-RAN을 결합한 ‘하이퍼-AI 네트워크’를 추진하면서 사족보행 순찰 로봇, 무인 자율 이송, 휴머노이드 저전력 모드 등을 실증 대상으로 정했어. SK텔레콤 컨소시엄은 피지컬 AI 서비스를, KT 컨소시엄은 조선소 같은 현장에서 여러 로봇이 안정적으로 움직일 통신 환경과 AI 기반 자율 운용을 검증할 계획이야.¹

다음에 볼 장면은 기사 안에 이미 나와 있어. 5년 동안 공공 CCTV 5만여 대를 바꾸는 사업, 레니게이드가 솔라를 구동하며 처리한다고 밝힌 하루 5억 개 토큰, 연내 1만 장 공급 계획이 실제 진행되는지 확인하면 돼. 피지컬 AI 쪽에서는 기존 네트워크와 비교한 업로드 속도·지연 변동 폭·자율운용성 검증 결과가 남게 돼.¹

각주

1. 연합뉴스 박상현, 「[AI위클리] AI 무게중심 ‘추론’으로…국산 NPU 시대 열린다」(2026-07-19) 연합뉴스. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷