HBM은 NVIDIA GPU 같은 계산 칩(XPU) 바로 옆에 붙는 고대역폭 메모리야. 그런데 지금까지 이 메모리를 제어하는 회로, 그러니까 메모리 컨트롤러가 계산 칩 위에 함께 얹혀 있었어. 계산에 써야 할 실리콘 면적을 메모리 제어에 나눠주고 있었다는 뜻이지.
NVIDIA가 8월 26일 이 구조를 바꾸겠다고 밝혔어. NVLink Fusion에 NVHBM이라는 새 메모리 기술을 더한 거야. NVHBM은 그 컨트롤러를 XPU가 아니라 HBM 자체의 베이스 다이 안으로 옮겨 넣어.
바뀐 자리가 숫자로 나와. 표준 HBM4E와 비교해 메모리 대역폭은 최대 30% 늘고, HBM 쪽 전력 소비는 최대 15% 줄고, XPU 컴퓨팅 다이에는 최대 25% 더 많은 면적이 남아.1 컨트롤러 하나를 옮긴 결과치고는 세 지표가 한꺼번에 움직인 거야.
이 기술은 NVIDIA 혼자 만드는 게 아니야. 여러 메모리 파트너가 검증하고 공급하는 표준 구현으로 열어둬서, NVLink Fusion을 쓰는 고객이면 누구나 가져다 쓸 수 있게 했어.
그 첫 사용자로 이름을 올린 게 아마존이야. 아마존의 반도체 자회사 Annapurna Labs가 NVHBM을 가장 먼저 함께 개발하는 파트너로 나섰어. Annapurna Labs는 차세대 Trainium 칩, Trainium4부터 NVLink Fusion을 지원할 계획이라 아마존 자체 칩과 NVIDIA GPU가 같은 랙 스케일 구조 안에서 함께 움직이게 돼.
Annapurna Labs 부사장 Nafea Bshara는 “NVHBM은 고대역폭 메모리 성능과 효율을 높이는 새로운 아키텍처 접근”이라고 말했어.1 NVIDIA도 NVLink Fusion이 하이퍼스케일러가 XPU 혁신에만 집중해도 되는, 더 빠르고 위험이 낮은 배포 경로를 만든다고 설명해.1 둘 다 발표 주체가 자기 기술을 평가한 말이라는 점은 구분해서 읽을 필요가 있어 — 실제로 얼마나 빠르고 낮은 위험인지는 아직 누구도 따로 확인하지 않았거든.
NVLink Fusion 자체도 짚을 만해. 파트너가 자체 설계한 XPU나 CPU를 NVIDIA의 랙 스케일 플랫폼에 연결하게 해주는 틀이고, NVLink 칩렛·NVLink-C2C·NVLink 스위치·NVIDIA MGX 시스템과 랙까지 접근하게 해줘.
아직 모르는 것
발표문은 NVHBM을 실제로 만드는 메모리 파트너가 누구인지는 밝히지 않았어. Trainium4가 언제 나오는지, Annapurna Labs가 NVHBM을 탑재한 칩을 언제 내놓는지도 말하지 않았어. 이 협력이 설계도 위의 약속에서 실제 칩으로 넘어가는 시점이, 이 발표가 말뿐이었는지 아닌지를 가르는 지점이야.
댓글