AI 칩은 메모리 안에서 계산하려 한다

AI 칩은 계산을 잘해야 한다고 생각하기 쉬워. 그런데 모델이 커질수록 더 자주 발목을 잡는 건 계산기 자체가 아니라, 계산할 데이터를 메모리와 프로세서 사이에서 나르는 일이야.

SK하이닉스와 미국 스타트업 테트라멤은 이 이동을 줄이는 방법을 실제 칩으로 시험했다. 데이터를 꺼내 와서 계산하는 대신, 메모리 소자 가까이에서 연산을 처리하는 인메모리 컴퓨팅 방식이야.¹

HBM 다음에 남는 질문

반도체 공급망을 이야기할 때 HBM은 빠지지 않아. 여러 D램을 수직으로 쌓아 프로세서와 메모리 사이의 통로를 넓히는 방식이니까. 통로가 넓어지면 AI가 필요한 데이터를 더 빨리 받을 수 있어.

인메모리 컴퓨팅은 질문을 한 단계 더 밀어붙여. 통로를 넓히는 대신, 꼭 옮겨야 하느냐고 묻는 거야.

flowchart LR
    A["메모리"] -->|"데이터 이동"| B["프로세서 연산"]
    B -->|"결과 이동"| A
    C["메모리 소자 가까운 연산"] --> D["이동량과 전력 부담을 줄일 가능성"]

AI 추론은 학습을 끝낸 모델이 새 입력에 답을 내놓는 단계야. 이때 모델의 가중치와 입력값을 계속 옮겨야 하면, 계산기만 빨라도 전력과 시간이 데이터 이동에서 새어 나간다. 그래서 인메모리 컴퓨팅은 계산 성능을 무작정 키우는 기술이라기보다, 데이터가 오가는 횟수를 줄이려는 설계로 읽는 편이 맞아.

이번에는 칩으로 해 봤다

이번 연구의 핵심은 아이디어를 시뮬레이션에만 두지 않았다는 데 있어. 양사는 멤리스터 기반 인메모리 컴퓨팅 시스템온칩을 65나노 CMOS 공정으로 만들고, 100MHz 조건에서 동작시켰어.¹

특히 모바일용처럼 가벼운 AI 모델에서 연산량을 줄이는 데 쓰이는 깊이별 컨볼루션을 하드웨어에서 검증했다. 시각 웨이크 워드 데이터셋으로 맞춤형 MobileNetV1을 구동했을 때 추론 정확도는 80.36%였고, 4비트로 양자화한 같은 소프트웨어 모델과 비슷한 수준이었다. 기사에 따르면 에너지 효율은 21.3 TOPS/W로 제시됐다.¹

여기서 확인된 것은 분명해. 메모리 소자 기반 연산 구조가 실제 칩에서 특정 모델을 돌렸고, 정확도를 크게 잃지 않은 채 동작했다는 점이야. SK하이닉스는 메모리 소자·공정·후공정에 참여했고, 테트라멤은 회로와 연산 구조를 설계했다.¹

칩 하나가 아직 말해 주지 않는 것

다만 이 숫자만으로 인메모리 컴퓨팅이 곧바로 AI 가속기의 다음 표준이 됐다고 말할 수는 없어.

이번 결과는 65나노 공정, 100MHz, 하나의 맞춤형 MobileNetV1과 시각 웨이크 워드 과제에서 나온 값이야. 기사에는 더 큰 모델이나 다른 추론 작업에서도 같은 효율이 나오는지, 여러 칩을 묶었을 때의 속도와 전력은 어떤지, 실제 제품에서 필요한 비용과 신뢰성은 어떤지까지는 나오지 않는다.

SK하이닉스 측은 이번 프로젝트가 미래 AI 시스템용 메모리 기술과 새 컴퓨팅 구조를 탐구하는 가치를 보여 준다고 설명했어.¹ 그 말은 방향을 말해 줄 뿐, 상용화 시점이나 경쟁력의 증거는 아니야.

다음에 볼 것

다음 단계에서는 세 가지를 보면 돼.

첫째, 작은 모바일 모델 밖에서도 전력 효율과 정확도가 유지되는지야. 둘째, 멤리스터 소자의 편차와 제조 공정이 반복 생산에서 얼마나 안정적인지야. 셋째, 이 구조가 기존 메모리와 AI 가속기 사이에 어떤 방식으로 들어가는지야.

이번 칩이 보여 준 것은 HBM을 대체할 답이 아니라, AI 전력 문제를 데이터 이동에서 다시 봐야 한다는 실험 결과야.

각주

1. 전자신문/박유민, 「SK하이닉스, HBM 이후 ‘메모리 연산’ 기술 검증」(2026-07-11) 전자신문. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵