이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.
한 줄로 말하면
KV 캐시는 언어모델이 이미 읽은 토큰에서 만든 중간 계산을 보관해, 다음 토큰을 만들 때 같은 계산을 처음부터 반복하지 않게 하는 작업 메모야.
비유로 이해하기
긴 책을 읽으며 다음 문장을 고를 때, 앞쪽 페이지마다 붙인 색인표를 매번 새로 만들 필요는 없어. 이미 만든 색인표를 펼쳐 두고 새 페이지 하나만 더 표시하면 돼.
KV 캐시도 비슷해. 모델은 앞선 토큰을 읽을 때 각 토큰이 무엇을 가리키는지와 어떤 내용을 건넬지에 관한 중간값을 만들어 둬. 다음 토큰에서는 그 기록을 다시 쓰고 새 토큰의 기록만 덧붙여.
여기까지가 이해를 돕는 비유야. 실제 캐시는 책의 내용을 영구히 보관하는 도서관이 아니야. 요청을 처리하는 동안 필요한 계산 기록이며, 남겨 둘 수 있는 양은 가속기 메모리와 실행 방식에 따라 달라져.
정확한 정의
transformer 계열 언어모델은 새 토큰을 만들 때 앞선 토큰들과의 관계를 다시 살펴봐. 이때 각 토큰에서 만든 key와 value라는 중간값을 보관한 것이 KV 캐시야. 이미 읽은 부분의 key·value를 다시 계산하지 않고 가져오므로, 답이 한 토큰씩 길어질 때 같은 앞부분을 되풀이해 읽는 일을 줄일 수 있어.
flowchart LR A[입력과 앞선 토큰] --> B[key·value 계산] B --> C[KV 캐시에 저장] D[새 토큰 요청] --> E[기존 key·value 재사용] C --> E E --> F[다음 토큰 생성] F --> B
그림의 핵심은 시간이야. 첫 토큰을 읽을 때는 기록이 없지만, 다음 토큰부터는 앞선 기록을 꺼내 쓴다. 그래서 긴 문맥이나 여러 단계의 대화에서는 계산을 아끼는 대신, 앞선 기록을 담아 둘 메모리가 더 필요해져.
왜 중요한가
KV 캐시는 추론 비용을 볼 때 칩의 연산 성능만으로는 부족한 이유를 보여 줘. 모델의 가중치를 올려 두는 메모리와 별도로, 요청마다 자라는 작업 기록을 위한 공간도 필요하기 때문이야.
SK하이닉스 최태원 회장은 AI 추론이 늘면서 이 캐시를 저장할 메모리도 커진다고 설명했어. 이는 메모리 수요에 관한 경영진의 관찰이지, 업계 전체 수요를 확정하는 증거는 아니야.1
서비스를 운영하는 쪽에서는 속도와 수용량 사이의 선택으로 나타나. 캐시를 넉넉히 둘 수 있으면 이미 계산한 앞부분을 재사용해 응답을 빠르게 이어 갈 수 있어. 반대로 메모리가 모자라면 동시에 처리할 요청 수를 줄이거나, 일부 기록을 비워 다시 계산해야 할 수 있어.
실제 예시
긴 대화에서 사용자가 한 문장을 더 보낸 상황을 생각해 보자. 모델은 이전 대화 전체를 다시 읽는 대신, 앞선 대화에서 남긴 key·value와 새 문장의 계산을 합쳐 다음 답을 만들 수 있어. 대화가 길수록 이 작업 기록도 커진다는 점이 중요해.
SK하이닉스의 메모리 증설 인터뷰는 이 문제를 메모리 제조사의 시선에서 보여 줘. 인터뷰는 KV 캐시가 늘면 저장 공간이 더 필요하다고 설명하지만, 실제 고객별 사용량과 계약 조건까지 보여 주지는 않아.1
헷갈리지 말아야 할 점
- KV 캐시는 모델의 지식 자체가 아니야. 학습으로 가중치에 새긴 지식과 달리, 현재 요청의 앞부분을 계속 계산하기 위한 중간 기록이야.
- 대화 기록 전체와도 같지 않아. 대화 텍스트는 사람이 읽을 수 있지만, KV 캐시는 모델 실행에 쓰는 수치 묶음이야.
- 캐시가 있다고 모든 요청이 빨라지는 것은 아니야. 앞부분을 실제로 공유하거나 이어 쓰는 요청에서 재사용할 것이 있어야 하고, 메모리에 담을 수 있는 범위도 따로 봐야 해.
- 메모리가 많이 필요하다는 말이 곧 특정 회사의 수요 전망은 아니야. 모델 구조, 문맥 길이, 동시 요청 수, 메모리 관리 방식이 함께 달라질 수 있어.
관련 문서
남은 질문들
- 모델의 문맥 길이와 동시 요청 수가 각각 KV 캐시 메모리를 얼마나 늘릴까?
- 서로 같은 앞부분을 읽는 요청은 어떤 조건에서 캐시를 함께 쓸 수 있을까?
- 캐시를 비우고 다시 계산하는 비용과, 더 큰 메모리를 쓰는 비용은 어느 상황에서 갈릴까?
댓글