이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.
한 줄로 말하면
NPU는 신경망처리장치(Neural Processing Unit)의 줄임말이야. AI 모델이 이미 배운 것을 바탕으로 답을 내는 추론 계산을 더 적은 전력과 비용으로 돌리려는 반도체를 가리키는 말로 많이 쓰여.1
비유로 이해하기
CPU를 여러 종류의 일을 처리하는 만능 작업대라고 해 보자. GPU는 같은 모양의 계산을 아주 많이 동시에 하는 대형 작업장에 가깝고, NPU는 신경망 계산에서 자주 반복되는 작업을 빠르게 처리하도록 배치를 고정한 전문 작업대에 가까워.
여기까지가 감을 잡기 위한 비유야. 실제 칩은 이 셋 중 하나만 쓰지 않는다. 모델을 준비하고 데이터를 옮기고 결과를 화면이나 다른 프로그램에 넘기는 일은 CPU·GPU·메모리·소프트웨어가 함께 맡는다. NPU 하나의 연산 성능만 보고 전체 서비스가 빨라졌다고 말할 수 없는 이유야.
정확한 정의
신경망은 입력값과 많은 가중치를 곱하고 더하는 계산을 층마다 반복해. NPU는 이런 계산의 반복을 겨냥한 가속기 계열이야. 제품마다 세부 구조와 지원하는 정밀도는 다르지만, 공통된 질문은 비슷해. 같은 모델을 돌릴 때 얼마나 빨리 답을 내고, 얼마나 적은 전력을 쓰며, 필요한 데이터가 칩 안팎을 얼마나 오가느냐야.
AI 반도체 회사 리벨리온도 자사를 AI 추론용 NPU 설계 회사로 소개한다. 이 표현은 NPU가 모든 AI 계산을 대신한다는 뜻이 아니라, 학습을 끝낸 모델을 실제 서비스에서 실행하는 단계에 초점을 둔다는 뜻에 가깝다.1
왜 중요한가
AI 서비스는 모델을 한 번 학습시키고 끝나지 않아. 사용자가 질문하거나 사진을 넣거나 기기가 센서 신호를 받을 때마다 추론이 반복돼. 그래서 추론에서는 최고 속도만큼이나 전력, 지연시간, 메모리 사용량, 소프트웨어 호환성이 중요해져.
NPU는 이 비용을 줄일 수 있는 한 가지 설계 선택지야. 데이터센터에서는 GPU와 맞춤형 가속기가 함께 경쟁하고, 노트북·휴대전화·로봇 같은 기기에서는 데이터를 멀리 보내지 않고 기기 안에서 처리하려는 요구와 만난다. 다만 어떤 작업이 NPU에 잘 맞는지, 실제 제품에서 비용이 얼마나 줄어드는지는 칩 이름이 아니라 모델·메모리·개발 도구·배포 환경을 같이 봐야 해.
실제 예시
리벨리온의 상장 검토 기사에서는 NPU가 기술 이름을 넘어 사업 검증의 대상이기도 하다는 점이 드러나. 회사가 AI 추론용 칩을 설계한다는 사실과 별개로, 실제 고객·매출·양산 물량·수주가 얼마나 쌓이는지는 기사만으로 확인되지 않았다.1
이 구분이 중요해. NPU의 성능 발표는 기술의 가능성을 보여 줄 수 있지만, 제품 경쟁력은 특정 모델에서의 지연시간과 전력, 개발자가 옮겨 갈 수 있는 소프트웨어 환경, 안정적인 공급까지 함께 확인해야 판단할 수 있어.
헷갈리지 말아야 할 점
- NPU는 하나의 고정된 설계를 뜻하지 않아. 회사마다 같은 약어로 다른 연산 방식·메모리 구조·개발 도구를 내놓을 수 있어. 이름보다 지원하는 모델과 실제 측정 조건을 먼저 봐야 해.
- 추론 전용이라는 말이 GPU가 필요 없다는 뜻은 아니야. 큰 모델의 학습과 대규모 추론, 그래픽 처리, 데이터 준비는 여전히 다른 종류의 연산 자원을 필요로 할 수 있어.
- TOPS 같은 숫자 하나로 비교하면 안 돼. 지원하는 정밀도, 메모리 대역폭, 모델 크기, 배치 크기, 전력 측정 방식이 다르면 같은 숫자도 실제 체감 성능을 말해 주지 못해.
관련 문서
- NPU 회사가 공개시장에서 먼저 증명해야 할 숫자: 리벨리온 IPO의 첫 질문은 코스피가 AI 칩에 매길 값이다
- AI 가속기가 실제 제품이 되기 전 거치는 연결·조립 단계: 첨단 패키징
- AI 인프라에서 GPU와 소프트웨어 생태계가 차지하는 자리: NVIDIA
남은 질문들
- NPU는 어떤 모델 구조와 입력 크기에서 GPU·CPU보다 전력과 지연시간의 이점을 보이는가?
- 온디바이스 NPU의 효율은 모델 압축·양자화와 메모리 제약에 따라 어떻게 달라지는가?
- NPU 회사의 경쟁력은 칩 성능, 컴파일러와 개발 도구, 고객의 실제 배포 중 어디에서 가장 크게 갈리는가?
댓글