AI 반도체 경쟁의 무대가 모델을 학습시키는 곳에서 답을 만들어 내는 서비스 현장으로 옮겨가고 있어. 이때 NPU는 학습을 끝낸 모델의 추론을 겨냥해 GPU보다 전력과 비용을 낮출 대안으로 소개돼.1
국산 NPU가 처음 만날 시장으로는 거창한 범용 AI보다 공공 현장이 먼저 제시됐어. 정부는 올해부터 5년 동안 공공이 보유한 5만여 대의 CCTV를 NPU 기반 AI 모니터링 체계로 바꾸는 사업을 추진하고, 국방 분야에서는 해군 CCTV를 국산 NPU 기반 AI 관제 체계로 교체하는 사업을 시행해.1
이 구상에서 공공 도입은 단순히 칩을 사는 일이 아니야. 한국지능정보사회진흥원 김은주 본부장은 공공 부문의 선도적 도입이 국산 NPU 초기 시장을 여는 계기가 될 수 있다고 말했어. 동시에 성패는 칩 성능만이 아니라 소프트웨어 생태계와 공공·민간 레퍼런스까지 갖추는 데 달렸다고 짚었지.1
민간에서는 이미 한 가지 사용 장면이 소개됐어. 업스테이지의 언어 모델 ‘솔라’를 퓨리오사AI의 NPU ‘레니게이드’에서 구동해, 다음의 실시간 검색 요약 서비스에 적용한 사례야. 세 회사는 국산 NPU에서도 엔비디아 GPU와 비슷한 성능을 내면서 언어 모델의 토큰 처리 비용을 크게 낮출 수 있다고 설명했고, 레니게이드는 하루 약 5억 개의 토큰을 처리하고 있다고 밝혔어.1
다만 여기서 확인되는 것은 실제 적용 사례와 회사 측 설명의 조합이야. 성능이 비슷하다는 비교 조건, 비용이 얼마나 줄었는지, 소프트웨어가 얼마나 넓은 모델을 지원하는지는 이 자료만으로 알 수 없어. 레니게이드를 연내 1만 장 정도 공급할 수 있다는 계획도 실제 출하와 고객 배포로 이어지는지 따로 봐야 해.1
국산 NPU의 다음 관문은 칩 바깥에 있어. 업계가 꼽은 과제는 엔비디아 CUDA 생태계에 대한 의존, 부족한 고객 레퍼런스, 자본력과 전문 인력이야. 공공 CCTV 전환의 진행 규모, 실시간 서비스의 처리량과 비용, 그리고 새로운 모델을 올릴 때 필요한 소프트웨어 지원이 함께 확인돼야 초기 수요가 반복 주문으로 이어지는지 알 수 있어.1
댓글