test-time compute

한 줄로 말하면

AI 모델이 답을 내놓기까지 얼마나 많이 “생각”하게 두느냐 — 그 추론 시점의 계산량을 test-time compute라고 해.

비유로 이해하기

시험 문제를 푸는 두 학생을 떠올려 봐. 한 명은 문제를 보자마자 처음 떠오른 답을 바로 적고, 다른 한 명은 여러 풀이를 시도해보고 그중 가장 그럴듯한 답을 골라 낸다. 후자가 시간은 더 걸리지만 정답률이 높을 가능성이 크다.

여기까지가 감을 잡는 비유고, 실제로는 모델이 “다시 생각해보는” 방식이 사람의 숙고와 똑같지는 않다. 모델은 답을 하나 내는 대신 여러 후보 답을 만들어 서로 비교하거나 채점하는 방식으로 이 시간을 쓴다.

정확한 정의

test-time compute는 모델이 학습(training)을 마친 뒤, 실제 질문에 답하는 추론 시점(“test time”)에 투입하는 계산량을 말한다. 학습 단계에 들이는 연산량인 train-time compute와 대비되는 개념이다.

OpenAI는 2024년 9월 공개한 추론 모델 o1에서¹ 이 개념을 함께 제시했다 — o1의 성능은 강화학습을 더 투입하는 train-time compute뿐 아니라, 답을 내기 전에 더 오래 생각하게 하는 test-time compute와 함께 꾸준히 향상됐다고 밝혔다.¹

왜 중요한가

그동안 LLM 성능 개선은 주로 train-time compute를 늘리는 방식이었다 — 더 큰 모델, 더 많은 데이터, 더 많은 학습 연산. o1은 다른 축을 보여줬다. 학습을 마친 모델이라도 답을 내기 전에 더 많이 “생각”하게 하면(더 많은 후보를 만들고 비교하면) 정확도가 오른다는 것이다.¹ OpenAI는 이 스케일링의 제약이 사전학습(pretraining)의 스케일링과는 실질적으로 다르며 계속 조사 중이라고 밝혔다.¹

이 개념이 중요한 이유는 정확도와 비용을 정면으로 맞바꾼다는 데 있다. 같은 모델도 얼마나 많은 test-time compute를 쓰느냐에 따라 정확도가 달라지고, 더 많은 계산은 곧 더 많은 비용과 시간이다.

실제 예시

OpenAI가 2024년 9월 12일 공개한 o1-preview는¹ 대규모 강화학습으로 사고연쇄(chain of thought)를 정교화하도록 훈련한 모델이다.¹ 2024년 AIME(미국수학올림피아드 예선) 수학 시험에서, o1은 문제당 답 하나만 낼 때 평균 74%(11.1/15)를 맞혔지만, 64개의 답을 만들어 합의로 고르면 83%(12.5/15), 1000개의 답을 만들어 학습된 채점 함수로 재순위화하면 93%(13.9/15)까지 올라갔다.¹ 같은 모델, 같은 문제인데 답을 만드는 데 들이는 계산량만 늘려 정확도를 20%p 가까이 끌어올린 셈이다. 반면 GPT-4o는 같은 시험에서 평균 12%(1.8/15)만 풀었다.¹

test-time compute를 늘리는 효과는 다른 영역에서도 확인됐다. o1을 기반으로 프로그래밍 능력을 더 훈련한 모델은 2024 국제정보올림피아드(IOI) 공식 대회 조건에서 213점, 49번째 백분위를 기록했다.¹ 제출 횟수 제약을 10,000회까지 완화하자, 별도의 테스트 시점 선별 전략 없이도 금메달 기준을 넘는 362.14점을 기록했다.¹ Codeforces 경쟁 프로그래밍 시뮬레이션에서는 이 모델이 Elo 1807을 기록해 참가자의 93%를 앞섰고, GPT-4o의 Elo 808(상위 11%)을 크게 웃돌았다.¹

헷갈리지 말아야 할 점

train-time compute와 test-time compute는 다른 단계다. 전자는 모델을 학습시킬 때 들이는 연산량이고, 후자는 학습이 끝난 모델이 실제로 답할 때 들이는 연산량이다. OpenAI는 o1의 성능이 이 둘 모두와 함께 향상됐다고 밝혔지만,¹ 두 축의 스케일링 제약은 서로 다르다고 설명했다.¹

더 많은 test-time compute가 항상 같은 비율로 정확도를 올리는 건 아니다. AIME 사례에서 정확도는 74%→83%→93%로 올랐지만, 그 사이 투입한 답 후보 수는 1개→64개→1000개로 훨씬 더 가파르게 늘었다.¹ 계산량을 늘릴수록 얻는 정확도 향상은 점점 줄어드는 모양이지만, 그 감소 곡선이 구체적으로 어떤 형태인지는 원문이 밝히지 않는다.

관련 문서

• OpenAI

각주

1. OpenAI, 「Learning to reason with LLMs」(2024-09-12) 발표문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸ ↩︎⁹ ↩︎¹⁰ ↩︎¹¹ ↩︎¹² ↩︎¹³ ↩︎¹⁴