LLM에게 “생각해 봐”라고 하면 수학 문제만 잘 푸는 게 아니야.
Google Research가 던진 질문은 더 이상해. 단순한 사실 질문에서도 reasoning을 켜면 답을 더 잘 떠올린다는 거야. 복잡한 계산도 아니고, 여러 단계를 이어야 하는 추론도 아니야. 어떤 인물이 어느 해에 명예의 전당에 올랐는지 같은 폐쇄형 지식 질문에서도 차이가 난다.1
이게 중요한 이유는 간단해. 우리는 흔히 chain-of-thought를 “풀이를 적는 공간”으로 봐. 하지만 이 연구가 맞다면 reasoning 토큰은 풀이 노트만이 아니야. 모델 안에 이미 들어 있는 기억을 꺼내기 위한 작업대이기도 해.
무슨 일
연구진은 Gemini 2.5 Flash, Gemini 2.5 Pro, Qwen3-32B를 놓고 reasoning을 켠 경우와 끈 경우를 비교했어. 문제는 SimpleQA Verified와 EntityQuestions처럼 정답이 있는 단순 사실 질문이었고, 외부 검색 없이 모델 안의 지식만으로 답해야 했다.1
결과는 한 방향이었어. reasoning을 켜면, reasoning을 껐을 때는 거의 나오지 않던 정답이 나온다. 연구진은 이걸 “복잡한 문제를 작은 단계로 쪼갰기 때문”으로 보지 않았어. 애초에 문제들이 대부분 한 단계 사실 질문이었기 때문이야.
그러면 남는 질문은 이거야.
모델은 대체 무엇을 하면서 더 잘 기억하게 된 걸까.
첫 번째 장치: 계산 버퍼
첫 번째 답은 싱겁지만 중요해. reasoning 토큰은 모델에게 시간을 벌어준다.
언어모델은 토큰을 하나 만들 때마다 다시 계산을 해. 그래서 중간 토큰을 더 많이 만들면, 겉으로는 문장을 쓰는 것처럼 보여도 내부적으로는 더 많은 계산 기회를 얻는다. Google 연구진은 이 효과만 떼어 보려고, 모델이 만든 reasoning 내용을 의미 없는 반복 문구로 바꿔치기했다. 사실 정보가 전혀 없는 더미 문장만 길게 붙인 뒤 최종 답을 다시 만들게 한 거야.1
그래도 성능이 올라갔다. 자연스러운 reasoning만큼은 아니지만, reasoning을 완전히 끈 상태보다는 단순 사실을 더 잘 떠올렸다.
이 말은 reasoning의 일부 효과가 “좋은 풀이를 썼기 때문”이 아니라는 뜻이야. 그냥 더 많은 토큰을 거치며 내부 상태를 다듬을 시간이 생겨도 기억 경계가 조금 넓어진다.
두 번째 장치: 관련 사실 점화
하지만 더미 문장만으로는 자연스러운 reasoning의 효과를 다 설명하지 못했다. 진짜 핵심은 두 번째 장치야. 모델이 중간에 관련 사실을 먼저 꺼내면, 정답도 더 쉽게 따라 나온다.
사람도 비슷해. 이름이 바로 안 떠오를 때 주변 정보를 말하다 보면 갑자기 생각나는 경우가 있잖아. 장소, 시대, 관계자, 비슷한 사건을 더듬다 보면 목표 기억이 튀어나온다. 연구진은 언어모델에서도 비슷한 현상을 factual priming이라고 불렀어.1
예를 들어 “네팔의 10번째 왕은 누구인가”를 묻는다면, 모델이 앞의 왕들을 먼저 나열하면서 정답 주변의 지식 공간을 데운다. 이게 논리적 증명은 아니야. 하지만 관련 사실이 문맥에 올라오면, 다음 토큰이 정답 쪽으로 기울 수 있다.
연구진은 이 효과도 따로 떼어 봤어. 자연스러운 reasoning에서 구체적 사실만 뽑고, filler나 검색 계획, 최종 답을 직접 가리키는 표현은 빼냈다. 그렇게 만든 짧은 사실 목록만 넣어도 reasoning 성능 향상의 상당 부분이 회복됐다. 심지어 reasoning을 끈 상태에서도 그 사실 목록을 문맥으로 주면 답이 좋아졌다.1
flowchart LR A["단순 사실 질문"] --> B["reasoning 토큰"] B --> C["계산 버퍼<br/>더 많은 내부 계산"] B --> D["관련 사실 점화<br/>주변 지식 먼저 회상"] C --> E["정답 회상 확률 상승"] D --> E D --> F["중간 사실이 틀리면<br/>최종 답도 흔들림"]
함정
문제는 그 관련 사실을 모델이 스스로 만든다는 점이야.
중간에 떠올린 사실이 맞으면 정답을 돕는다. 하지만 그 사실이 hallucination, 즉 그럴듯한 거짓 사실이면 최종 답도 같이 오염된다. Google 연구진은 reasoning 중간에 나온 사실들을 검색 가능한 검증기로 대량 점검했고, reasoning 경로 안에 거짓 중간 사실이 하나라도 들어가면 최종 답이 맞을 확률이 뚜렷하게 낮아진다고 설명했다.1
그러니까 “생각을 길게 했다”는 말은 안전 보증이 아니야. 긴 reasoning은 기억을 더 잘 꺼내게 만들 수 있지만, 틀린 기억을 더 그럴듯하게 굴릴 수도 있다.
이 차이가 실무적으로 중요해. 답을 평가할 때 최종 문장만 보면 늦을 수 있어. 중간에 어떤 사실을 발판으로 삼았는지 봐야 하고, 그 발판이 확인 가능한지 봐야 한다.
왜 중요한가
이 연구는 reasoning을 조금 다르게 보게 해.
첫째, reasoning은 “문제를 나누는 능력”만이 아니야. 모델 안에 저장된 지식을 꺼내는 회상 장치이기도 해. 그래서 단순 질문에서도 도움이 될 수 있다.
둘째, reasoning의 품질은 말투가 아니라 중간 사실의 품질에서 갈린다. 그럴듯한 단계가 많아도, 그중 하나가 틀리면 최종 답은 더 위험해질 수 있어.
셋째, 더 나은 모델을 만들려면 “길게 생각하게 하라”만으로는 부족해. 연구진은 여러 reasoning 경로를 만들고, 그중 검증 가능한 사실을 포함한 경로를 고르면 정확도가 올라간다고 설명했다. 훈련에서도 사실적으로 지지되는 중간 단계를 보상하는 방식이 가능하다고 본다.1
여기서 Claude의 J-space 실험과도 이어져. Anthropic 쪽 연구가 출력되지 않은 내부 작업 공간을 보려 했다면, Google 쪽 연구는 출력된 reasoning 토큰이 사실 회상에 어떤 일을 하는지 본다. 둘 다 같은 질문으로 모여.
AI가 답을 말하기 전에, 무엇을 떠올렸는가.
다음에 볼 것
앞으로 볼 지점은 세 가지야.
첫째, factual priming이 모델과 데이터셋을 넘어 얼마나 반복되는지. Google 글은 Gemini와 Qwen 계열에서 비슷한 방향을 보였지만, 다른 모델과 더 넓은 업무에서도 같은지는 더 봐야 해.
둘째, 중간 사실 검증이 제품 안에서 어디까지 들어갈 수 있는지. 모든 reasoning 토큰을 다 검증하면 비용과 지연이 생긴다. 대신 중요한 질문에서만 여러 경로를 만들고, 확인 가능한 중간 사실이 있는 답을 고르는 식의 절충이 나올 수 있어.
셋째, 외부 검색과 내부 기억의 경계야. 이 연구는 모델 안에 저장된 지식을 떠올리는 문제를 다뤘다. 하지만 실제 AI 제품은 검색, 도구, 파일, 메모리를 함께 쓴다. 그때는 “무엇을 기억했나”보다 “무엇을 근거로 삼았나”가 더 중요해질 거야.
길게 생각하는 모델을 믿을 이유는 생각이 길어서가 아니라, 그 생각이 딛고 선 중간 사실을 확인할 수 있을 때 생긴다.
댓글