한 줄로 말하면
HBM(High Bandwidth Memory)은 여러 층의 D램을 수직으로 쌓아 올리고 실리콘관통전극(TSV)으로 층 사이를 뚫어, GPU 바로 옆에 붙이는 메모리 방식이야. 데이터를 한 줄씩 좁은 통로로 주고받는 기존 D램과 달리 훨씬 넓은 통로를 층마다 나란히 뚫기 때문에, 같은 시간에 옮길 수 있는 데이터양(대역폭)이 크게 늘어나. 이 대역폭 때문에 AI 가속기를 만드는 회사들이 HBM 확보 경쟁을 벌이고, 그 확보 경쟁이 곧 누가 AI 칩을 먼저 완성해 내놓는지를 가른다.
비유로 이해하기
단독주택 여러 채에 각각 좁은 골목길로 접근하는 것과, 같은 자리에 아파트를 층층이 올리고 건물 안에 통로를 여러 개 뚫는 것의 차이를 생각하면 감이 와. 단독주택은 땅을 넓게 쓰지만 집마다 좁은 골목을 지나야 해서 한 번에 오갈 수 있는 사람이 적어. 아파트는 같은 자리에 층을 쌓는 대신, 건물 안에 수직 통로를 여러 개 놓아서 한 번에 오가는 인원을 늘려. HBM이 하는 일이 이 아파트 쪽이야 — 다이(die) 하나짜리 D램을 옆으로 늘어놓는 대신 여러 층을 쌓아 올리고, 그 층 사이를 수직으로 뚫은 통로로 연결해.
여기까지가 감을 잡는 비유고, 실제로는 그 통로가 몇 개인지, 통로 하나가 얼마나 넓은지가 세대(世代)를 가르는 표준으로 딱 정해져 있어. 그 표준을 정하는 곳이 반도체 표준기구 JEDEC이고, 표준이 갱신될 때마다 대역폭이 얼마나 늘었는지가 이 개념의 진짜 내용이야.
기존 D램은 GPU 옆에 나란히 놓여 좁은 통로 여러 개로 이어지지만, HBM은 GPU 바로 위에 층층이 쌓여 수직 통로(TSV)로 연결돼.
표준이 대역폭을 몇 배로 정한다
HBM의 세대는 회사가 마음대로 정하는 게 아니라 반도체 표준기구 JEDEC이 발표하는 규격이 정한다. JEDEC은 2022년 1월 27일 세 번째 세대 표준인 HBM3(JESD238)를 발표했는데1, 이 표준이 실제로 어떤 숫자를 바꿨는지 보면 HBM이 왜 “쌓는 메모리”인지 보인다.
우선 통로 하나의 속도(핀당 데이터 전송률)를 이전 세대인 HBM2보다 두 배로 늘려 6.4Gb/s까지 정의했고, 이건 칩 하나당 819GB/s에 해당한다1. 통로 개수(채널)도 HBM2의 8개에서 16개로 두 배 늘렸고, 채널마다 2개의 하위 채널(pseudo channel)을 둬 사실상 32개 통로를 지원한다1. 그리고 이 통로들을 실제로 수직으로 뚫는 방식(TSV)은 4층·8층·12층 쌓기를 지원하며, 앞으로 16층까지 늘릴 여지를 규격에 미리 넣어뒀다1. 층 하나의 용량은 8Gb부터 32Gb까지 가능해서, 칩 하나(디바이스) 전체 용량은 4GB(8Gb 4층)에서 64GB(32Gb 16층)까지 정의됐고, HBM3 1세대는 16Gb 층 기반이 될 것으로 예상됐다1.
층을 쌓고 통로를 늘리면 오류가 날 자리도 늘어난다. 그래서 HBM3는 온다이(on-die) 방식의 심볼 기반 오류정정(ECC)과 실시간 오류 보고 기능을 새로 넣었고, 신호 전압을 0.4V로 낮추고 동작전압도 1.1V로 낮춰 에너지 효율까지 함께 개선했다1. 표준 발표 자리에서 NVIDIA의 JEDEC HBM 소위원회 의장 배리 와그너는 “이 향상된 성능·신뢰성 덕분에 HBM3가 막대한 메모리 대역폭과 용량을 필요로 하는 새로운 응용을 가능하게 할 것”이라고 말했다1.
왜 중요한가
AI 가속기(GPU·ASIC)는 연산 유닛 자체보다 메모리에서 데이터를 얼마나 빨리 실어 나르는지가 먼저 병목이 되는 경우가 많다. 연산 속도가 아무리 빨라도 데이터가 제때 도착하지 않으면 연산 유닛이 놀게 되기 때문이다. 그래서 GPU 제조사들은 HBM을 GPU와 같은 패키지 안에 나란히 붙이는 첨단 패키징(CoWoS) 방식을 쓴다 — HBM이 아무리 빨라도 GPU와 물리적으로 가까이 붙어 있지 않으면 그 대역폭을 다 쓸 수 없기 때문이다.
이 구조 때문에 HBM은 “메모리 회사가 파는 부품 하나”가 아니라 AI 가속기 공급망 전체의 속도를 정하는 자리가 된다. 어느 메모리 회사가 최신 표준 세대를 가장 먼저 안정적으로 양산하느냐가, 그 세대의 AI 가속기를 어느 회사가 먼저 완성해 파느냐로 이어진다.
AI 메모리 슈퍼사이클과 SK하이닉스 — 2026년 시점
SK하이닉스가 2026년 메모리 시장을 정리한 자료에 따르면, 세계반도체무역통계기구(WSTS) 집계 기준 2026년 세계 반도체 시장은 전년 대비 25% 넘게 성장해 약 9,750억 달러에 이를 전망이고, 이 중 메모리 부문은 30% 성장할 것으로 추산된다2. 일부 조사기관은 2026년 메모리 시장 규모가 4,400억 달러를 넘을 것으로 본다2.
이 성장의 중심에 HBM이 있다. Bank of America(BofA)는 2026년을 1990년대 호황에 준하는 “슈퍼사이클”로 규정하며 DRAM 매출이 전년 대비 51%, NAND가 45% 급증하고 평균판매가격(ASP)이 각각 33%·26% 오를 것으로 전망했고2, 그중 HBM 시장은 전년 대비 58% 늘어난 546억 달러에 이를 것으로 추정했다2. Goldman Sachs는 커스텀 ASIC 기반 AI 칩용 HBM 수요가 82% 급증해 전체 HBM 시장의 3분의 1을 차지할 것으로 내다봤다2 — GPU뿐 아니라 각 빅테크가 자체 설계한 AI 칩까지 HBM 수요를 늘리고 있다는 뜻이다.
이 수요의 상당 부분을 SK하이닉스가 가져간다는 게 여러 기관의 공통된 관측이다. Counterpoint Research 집계로 SK하이닉스는 2025년 2분기 기준 HBM 출하량의 62%, 2025년 3분기 기준 매출의 57%를 차지해 시장 1위였고2, Goldman Sachs는 SK하이닉스가 적어도 2026년까지 HBM3·HBM3E 지배력을 유지하며 전체 HBM 시장 점유율 50% 이상을 지킬 것으로 평가했다2. UBS는 SK하이닉스가 구글의 최신 TPU(v7p·v7e)에 HBM3E를 처음 공급하는 회사가 될 것이라고 밝혔다2. SK하이닉스는 세계 최초로 HBM4 양산 체제를 확보했다고 밝혔고, TSMC와 패키징 기술 협력을 강화하며 청주 M15X 팹을 짓고 전담 HBM 조직과 글로벌 AI 리서치센터를 세웠다2. UBS는 SK하이닉스가 2026년 NVIDIA의 차세대 루빈 플랫폼용 HBM4 시장에서 약 70% 점유율을 달성할 것으로 전망했다2.
헷갈리지 말아야 할 점
“HBM은 그냥 더 빠른 D램이다”는 통념이 있다. 속도만 놓고 보면 틀린 말은 아니지만, HBM의 핵심은 칩 하나의 속도가 아니라 구조다. 기존 D램은 여러 개를 옆으로 늘어놓고 각각 좁은 통로로 GPU와 연결하는 반면, HBM은 D램을 층층이 쌓고 그 층 사이를 TSV로 뚫어 GPU 바로 옆(또는 위)에 붙인다1. 그래서 “더 빠르다”보다 “같은 면적에 더 많은 통로를 뚫었다”가 더 정확한 설명이다.
“HBM 수요가 급증하면 가격은 계속 오르기만 한다”는 통념도 있다. 하지만 SK하이닉스가 인용한 시장조사기관과 외신 일부는 경쟁 심화와 생산능력 확대로 2026년 이후 HBM 가격이 조정 국면에 들어설 수 있다고 본다2. 다만 고성능 HBM 부문에는 기술 격차가 여전히 커서, 단기간에 시장 판도가 급격히 바뀌지는 않을 것이라는 분석이 더 우세하다2 — 가격은 조정될 수 있어도 공급사 구도 자체가 빠르게 뒤집히진 않는다는 뜻이다.
이어서 읽기
- 첨단 패키징(CoWoS) — HBM이 실제로 GPU와 한 패키지에 결합되는 병목 공정
- SK하이닉스 — HBM 공급을 주도하는 메모리 회사
- NVIDIA — HBM을 가장 많이 소비하는 AI 가속기 제조사
- TSMC — HBM을 GPU와 함께 패키징하는 파운드리
댓글