AI 가속기는 밀리초, 냉각은 분: 그 틈에 쌓이는 열빚

AI 학습 작업이 시작되는 순간, 클러스터 안의 가속기 전부가 수십 밀리초 만에 저전력 대기 상태에서 완전 가동으로 튄다.¹ 문제는 그 열을 식혀야 하는 액체냉각 시스템이 그렇게 빠르게 못 움직인다는 거야. 냉각수분배장치(CDU)가 실제로 반응하는 데는 초 단위에서 분 단위가 걸려.¹

이 두 시간 사이, 그러니까 칩이 이미 열을 뿜기 시작했는데 냉각 회로는 아직 못 따라온 그 구간을 원문은 “열부채(thermal debt)“라고 부른다. 전통적인 데이터센터 워크로드에서는 이 틈이 문제가 안 됐어. 서버 전력이 천천히 바뀌었으니까 냉각 회로의 열관성만으로도 충분히 흡수됐거든. AI 학습·추론 환경에서는 얘기가 달라진다.¹

숫자로 보면 얼마나 급격한가

지금 양산되는 최고성능 액체냉각 AI 가속기는 기기 한 대가 지속 부하에서 700~1,000W를 뿜어내고, 여러 대를 묶은 랙 스케일 시스템은 랙 하나가 100kW를 넘는 전력을 쓴다.¹ 학습 작업이 걸리면 이 전력이 수십 밀리초 안에 대기 상태에서 완전 가동으로 튀는데, 예전 세대 하드웨어에 있던 “천천히 램프업하는” 전력 관리 모드는 시간을 아끼려고 점점 없어지는 중이야 — 그러니까 완만한 곡선이 아니라 계단형 급증이다.¹ 추론 쪽도 비슷하게 급하다. 쿼리가 몰리면 프리필-디코드 전환 과정에서 30~50밀리초 안에 최대 TDP의 60~80%까지 전력이 튄다.¹

반대편 냉각 루프는 이렇게 느리다. CDU는 공급·환수 냉각수 온도, 차압, 유량 같은 값을 보며 펌프 속도와 밸브를 조정하는 폐쇄 회로 제어 시스템인데, 그 안의 지연 요소를 하나씩 쪼개보면 2차 루프 전파 지연이 15~45초, 센서 열응답이 3~8초, 제어기 폴링 주기가 1~5초, 밸브 작동기 응답이 5~30초, 열교환기 평형화가 15~60초씩 걸린다.¹ 다 합치면 냉각 시스템이 실제로 따라잡는 데 1분 안팎이 걸린다는 뜻이야. 가속기는 밀리초, 냉각은 분 — 이 자릿수 차이가 열부채의 정체다.

그 틈에서 실제로 벌어지는 일

최대 TDP의 95%로 돌아가는 랙 스케일 시스템에서, 공급 냉각수가 35°C인 상태로 CDU 응답이 60초 늦으면 칩 접합부 온도가 정상 상태보다 10~20°C까지 올라갈 수 있다.¹ 이 온도가 스로틀링 임계치를 넘으면 가속기 주파수가 강제로 낮아지면서 연산 처리량이 눈에 띄게 준다. 문제는 이 사건이 로그에는 남는데 조사는 거의 안 된다는 점이야. 운영자는 그냥 연산 이용률이 잠깐 떨어진 걸 보고 스케줄러 지연이나 노드 간 통신 문제로 돌린다 — 열이 원인이라는 건 대개 밝혀지지 않는다.¹

당장 눈에 보이는 스로틀링만 문제가 아니다. 이 열 순환이 학습 작업 시작마다 반복되면 접합부의 솔더 조인트 피로, 언더필 박리, 인터포저 스트레스가 쌓인다. 그래서 18개월 만에 멈춘 액체냉각 가속기가 사실은 제조 결함이 아니라 수만 번 반복된 열 순환의 누적 손상 때문일 수 있다는 거야.¹

왜 지금 아무도 이걸 못 보나

지금 쓰이는 DCIM 모니터링 시스템은 대부분 정상 상태 기준으로 짜여 있다. 공급·환수 냉각수 온도를 1~5분 창의 이동평균으로만 보고하니, 전력 전환 첫 90초 동안 무슨 일이 있었는지는 아예 안 보인다.¹ 가속기 접합부 온도가 35°C에서 75초짜리 전환 중 52°C까지 튀어도 BMC 로그에는 남지만, 그 데이터가 CDU 응답 시각과 맞대조되는 경우는 드물다. 가속기 쪽 텔레메트리와 CDU 쪽 제어 로그가 서로 다른 시스템에, 서로 다른 운영팀 손에 있어서 두 데이터를 나란히 놓고 보는 일 자체가 잘 안 일어난다.¹

해법은 이미 있다 — 다만 아직 표준이 아니다

원문이 제시하는 방향은 두 가지다. 하나는 CDU가 냉각수 온도만 보고 반응하는 대신, GPU 전력 텔레메트리를 직접 받아 열이 도착하기 전에 미리 펌프 속도와 밸브를 조정하는 “피드포워드” 방식이다. 센서에서 작동기까지 종단 지연을 2초 미만으로 줄이면, 열부채 구간 자체가 60~120초에서 10초 미만으로 줄어든다.¹ 다른 하나는 단순하다. 최대 허용치보다 5~8°C 낮은 온도로 냉각수를 미리 공급해서 완충 여유를 만들어 두는 건데, 이러면 30~60초짜리 전환은 접합부가 스로틀링 임계치에 닿기 전에 흡수된다. 대신 냉각 플랜트 에너지의 3~8%를 더 쓴다.¹

원문 필자는 AI 액체냉각 자체는 이미 기술적으로 성공했다고 인정한다. 공랭으로는 불가능했던 전력 밀도까지 냉각 인프라가 따라온 건 사실이야. 다만 그 CDU 제어 아키텍처는 원래 HPC나 일반 기업 컴퓨팅처럼 완만하고 예측 가능한 열 프로파일을 상대하도록 설계됐는데, 지금은 그보다 훨씬 빠른 AI 워크로드의 전력 전환을 상대하고 있다는 것 — 이 신뢰성·모니터링 규율의 공백은 아직 해결되지 않았다고 짚는다.¹

각주

1. DataCenterDynamics, 「The cooling loop can’t keep up」(2026-09-08 확인) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹ ↩︎¹⁰ ↩︎¹¹ ↩︎¹² ↩︎¹³ ↩︎¹⁴ ↩︎¹⁵