data-center

추론 요청 하나가 토큰화, 라우팅, KV 캐시, HBM, 네트워크를 지나 응답으로 돌아오는 과정을 짚습니다. 비용이 모델 계산만 아니라 메모리와 연결망에서 갈리는 이유를 봅니다.

• ai
• inference
• data-center