이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.
한 줄로 말하면
인메모리 컴퓨팅은 데이터를 메모리에서 프로세서로 꺼내 와 계산하는 대신, 메모리 소자 가까이에서 일부 연산을 처리해 데이터 이동을 줄이려는 반도체 설계야.
비유로 이해하기
큰 창고에서 물건을 검사한다고 해 보자. 전통적인 방식은 물건을 매번 중앙 검사대로 가져와 확인한 뒤 다시 창고에 넣는 쪽에 가까워. 검사대가 아무리 빨라도, 물건을 옮기는 통로가 막히면 전체 일은 느려지고 에너지도 많이 써.
인메모리 컴퓨팅은 검사대를 창고 안쪽 선반 가까이에 두려는 발상이야. 모든 일을 그 자리에서 끝내겠다는 뜻은 아니지만, 자주 반복되는 계산을 데이터가 있는 곳 근처에서 처리하면 옮기는 양을 줄일 수 있어.
여기까지가 이해를 돕는 비유야. 실제 칩에서는 메모리 소자의 특성, 아날로그와 디지털 변환, 연산 정밀도, 오류 보정, 기존 프로세서와의 연결이 함께 문제로 붙어. “가까이에서 계산한다”는 말만으로 제품 성능이 자동으로 좋아지는 것은 아니야.
정확한 정의
인메모리 컴퓨팅은 넓게 보면 메모리 계층 안이나 그 가까운 곳에 연산 기능을 넣는 접근이야. 목표는 단순해. AI 모델의 가중치와 입력값을 계속 읽고 쓰는 동안 생기는 이동 비용을 줄이는 거야.
특히 AI 추론에서는 같은 종류의 곱셈과 덧셈이 반복돼. 이때 데이터가 메모리와 연산 장치 사이를 오가는 시간이 길어지면, 연산 장치의 이론 성능보다 메모리 접근과 전력 소모가 먼저 병목이 될 수 있어. 추론 비용을 볼 때 GPU 가격표만으로는 부족한 이유도 여기와 이어져.
flowchart LR A["전통적 구조\n메모리"] -->|"값 이동"| B["프로세서\n연산"] B -->|"결과 저장"| A C["인메모리 구조\n메모리 가까운 연산"] --> D["이동량 감소 가능성"] D --> E["전력·지연시간 절감 여부 확인"]
왜 중요한가
AI 반도체를 볼 때 사람들은 흔히 연산 성능 숫자부터 본다. 하지만 큰 모델을 실제로 돌리면 계산할 값이 어디에 있고, 그 값을 얼마나 자주 옮기는지가 비용을 크게 바꿔. KV 캐시처럼 이미 계산한 중간값을 보관하는 구조도 결국 메모리 사용량과 처리량을 함께 움직인다.
인메모리 컴퓨팅은 이 문제를 더 근본적으로 묻는다. 통로를 넓히는 대신, 꼭 그 통로를 지나야 하느냐는 질문이야. HBM은 프로세서와 메모리 사이의 통로를 넓히는 쪽에 가깝고, 인메모리 컴퓨팅은 일부 연산 위치를 데이터 쪽으로 옮기는 쪽에 가까워. 두 접근은 같은 말이 아니라, 데이터 이동 병목을 다루는 서로 다른 층이야.
실제 예시
SK하이닉스와 미국 스타트업 테트라멤은 멤리스터 기반 인메모리 컴퓨팅 시스템온칩을 65나노 CMOS 공정으로 만들고, 100MHz 조건에서 동작시켰다고 전자신문이 보도했어.1
기사에 따르면 이 칩은 시각 웨이크 워드 과제에서 맞춤형 MobileNetV1을 구동했고, 4비트로 양자화한 소프트웨어 모델과 비슷한 정확도를 냈다. 에너지 효율은 21.3 TOPS/W로 제시됐어.1 여기서 확인된 것은 인메모리 컴퓨팅이 특정 작은 모델과 특정 칩 조건에서 실제로 동작했다는 점이야.
다만 이 예시만으로 대형 언어모델 추론이나 데이터센터 AI 가속기 전체의 답이라고 말할 수는 없어. 모델 종류, 정밀도, 소자 편차, 제조 수율, 기존 메모리와 프로세서 사이의 연결 방식이 달라지면 결과도 달라질 수 있어.
헷갈리지 말아야 할 점
- 인메모리 컴퓨팅은 HBM과 같지 않아. HBM은 주로 메모리 대역폭을 넓히는 구조고, 인메모리 컴퓨팅은 연산 위치를 데이터 가까이 옮기는 구조야.
- 연산을 메모리 근처에 둔다고 모든 계산이 빨라지는 것은 아니야. 어떤 연산을 얼마나 낮은 정밀도로 처리할 수 있는지, 결과를 다시 어디로 보내야 하는지에 따라 이점이 갈려.
- 칩 실험은 상용 제품과 다르다. 65나노 공정과 100MHz 조건의 연구 칩 결과는 방향을 보여 줄 수 있지만, 대량 생산과 고객 시스템 채택은 별도의 질문이야.
- TOPS/W 하나만 보면 안 돼. 정확도, 모델 크기, 지연시간, 메모리 용량, 주변 회로 전력, 비교 기준이 함께 있어야 실제 효율을 읽을 수 있어.
관련 문서
남은 질문들
- 멤리스터 기반 인메모리 컴퓨팅은 어떤 모델 구조와 정밀도에서 실제 전력 이점을 가장 크게 보일까?
- 소자 편차와 제조 수율은 대량 생산에서 정확도와 비용을 얼마나 흔들까?
- 이 구조는 기존 GPU·NPU를 대체하기보다 어느 계층에서 함께 쓰일 가능성이 클까?
- HBM, PIM, 인메모리 컴퓨팅은 메모리 회사의 제품 로드맵에서 각각 어디까지 연구이고 어디부터 고객 제품일까?
댓글