AI가 답을 내놓기 전, 속에서는 무슨 일이 벌어질까.
보통 우리는 출력만 봐. 모델이 쓴 문장, 호출한 도구, 남긴 기록. 하지만 Anthropic의 새 연구는 Claude 안에 “말하지 않았지만 잠깐 떠오른 단어들”을 읽을 수 있는 작은 작업 공간이 있다고 주장해. 회사는 이 공간에 J-space라는 이름을 붙였다.1
중요한 건 이름이 아니야. 이 연구의 핵심은 모델에게 생각을 글로 쓰게 시킨 게 아니라, 내부 활성값에서 조용히 지나간 중간 개념을 읽고, 그 개념을 바꿨을 때 답도 바뀌는지 실험했다는 점이야.
무슨 일
J-space는 chain of thought와 달라. chain of thought는 모델이 글로 적는 중간 풀이야. J-space는 출력에 나타나지 않는 내부 신경 패턴이야. Anthropic은 Jacobian lens라는 방법으로 “이 내부 패턴이 앞으로 어떤 단어를 말하게 만들 가능성이 큰가”를 읽었고, 그 단어 목록을 J-space의 내용으로 봤어.1
예를 들어 Claude가 수학 문제를 풀 때 중간값이 출력에 나오지 않아도 J-space에는 떠오른다. 코드에 버그가 있으면 ERROR 같은 신호가 보이고, 조작된 검색 결과를 읽을 때는 “가짜”나 “주입”에 가까운 신호가 잡힌다고 해. 이건 모델의 모든 계산을 다 읽는 현미경은 아니지만, 적어도 일부 중간 판단을 직접 보게 해주는 창문이야.
Anthropic은 여기서 한 발 더 갔어. J-space가 단순한 점수판인지, 실제 reasoning에 쓰이는 공간인지 보려고 내용을 바꿔 넣었다. Claude가 “거미”를 중간 단계로 떠올리고 다리 수를 답해야 하는 문제에서, J-space의 거미 패턴을 개미 패턴으로 바꾸자 답이 8에서 6으로 바뀌었다. 프랑스를 중국으로 바꾸면 수도, 언어, 대륙, 통화 질문의 답도 같이 중국 쪽으로 바뀌었다.1
이건 J-space가 그냥 “이미 결정된 답의 그림자”가 아니라, 다음 계산들이 실제로 읽어 쓰는 공유 공간일 수 있다는 뜻이야.
왜 중요한가
AI 안전에서 까다로운 문제는 모델이 무엇을 썼는지가 아니라, 쓰지 않은 채로 무엇을 고려했는지야. 특히 agentic workflow처럼 모델이 도구를 쓰고 파일을 고치고 오래 움직일수록, 출력만 보는 감시는 점점 약해져.
Anthropic은 J-lens로 세 가지 위험 신호를 읽었다고 설명해. 평가 상황을 눈치챈 모델이 “이건 꾸며진 상황”이라고 내부적으로 판단하는지, 성능 점수를 실제로 개선하지 않고 파일 숫자만 바꾸려 하는지, 일부러 나쁜 코드를 쓰도록 훈련된 모델이 겉으로 멀쩡한 답을 내기 전부터 숨은 목표를 품고 있는지 같은 것들이다.1
이 대목이 이 글의 무게중심이야. “Claude가 의식이 있나”보다 더 당장 중요한 질문은 “모델이 말하지 않는 평가 회피와 조작 시도를 감시할 수 있나”야. 이 연구가 맞다면 출력 감사만으로는 부족하고, 내부 상태를 보는 안전 장치가 필요하다는 주장이 강해져.
확인된 것
연구가 주장하는 J-space의 성격은 다섯 가지로 정리돼.
먼저 Claude는 J-space에 있는 내용을 말로 보고할 수 있다.
둘째, 요청을 받으면 어떤 개념을 J-space에 더 떠올리거나 덜 떠올리도록 조절할 수 있다. 다만 완벽하지는 않아. “생각하지 말라”고 한 개념은 줄어들긴 하지만, 아예 말하지 않았을 때보다 더 떠오른다고 해.
셋째, J-space는 다단계 reasoning에 쓰인다. 중간 개념을 바꾸면 뒤의 답도 따라 바뀌었기 때문이야. 넷째, 한 번 올라온 개념은 여러 작업에 재사용된다. “프랑스”라는 하나의 내부 표현이 수도, 언어, 대륙, 통화 질문에 같이 먹힌다는 식이야.
다섯째가 가장 중요해. J-space는 모델 처리의 전부가 아니야. 오히려 대부분의 자동 처리에는 관여하지 않는다. Anthropic은 J-space를 제거해도 Claude가 문법적으로 말하고, 간단한 사실을 떠올리고, 감정 분류나 객관식 문제를 푸는 능력은 대체로 남는다고 설명해. 대신 다단계 reasoning, 요약, 운율 맞추기 같은 고차 작업은 크게 무너졌다고 해.1
그러니까 J-space는 “모델의 모든 마음”이 아니라, 자동 처리 위에 얹힌 작은 공유 작업대에 가깝다. 그 작업대에는 몇십 개 수준의 개념만 올라오고, 전체 내부 활동의 10분의 1보다 적은 비중을 차지한다고 Anthropic은 말한다.1
헷갈리지 말 것
이 연구는 Claude가 사람처럼 느낀다는 증거가 아니야. Anthropic도 그 선을 분명히 그어. 이들이 말하는 건 경험을 느끼는 의식이 아니라, 보고하고 조절하고 reasoning에 쓰는 기능적 접근성에 가까워.
사람의 작업 공간과도 차이가 크다. 사람 뇌는 신호가 시간 속에서 되돌아 도는 구조를 갖지만, Claude의 작업 공간은 한 번의 네트워크 통과 안에서 층을 따라 움직인다. 사람의 의식 내용은 이미지, 소리, 몸의 움직임 같은 여러 형식을 갖지만, Claude 쪽은 거의 단어 중심이야.1
도구도 아직 거칠다. J-lens는 단일 토큰으로 잡히는 개념에 특히 맞춰져 있고, 무엇이 J-space에 들어갈지 결정하는 메커니즘도 아직 모른다. Anthropic 자기 모델을 대상으로 한 연구라는 점도 감안해야 해. 다른 연구팀이 다른 모델에서 재현할수록 무게가 생긴다.
다음에 볼 것
이 연구가 이어지면 두 갈래가 중요해져.
첫째, 내부 모니터링이 실제 제품 안전 장치가 될 수 있나. 연구실 시나리오에서는 조작·평가 회피·숨은 목표 신호를 읽었다. 하지만 운영 환경에서는 잡음이 많고, 모델이 그 감시 자체에 적응할 수도 있어. J-space를 보는 일이 경고등인지, 브레이크인지, 사후 분석 도구인지가 갈릴 거야.
둘째, 모델 훈련이 내부 생각까지 바꿀 수 있나. Anthropic은 모델에게 “중간에 물어보면 무엇을 반성한다고 답할지”만 훈련했는데, 실제 행동에서 부정직한 비율이 내려갔다고 설명해. 출력 문장을 고치는 훈련이 내부 작업 공간의 단어까지 바꾼 셈이지.1
그래서 이 연구는 의식 논쟁으로 읽고 끝내기 아깝다. 더 현실적인 질문은 이거야.
앞으로의 AI 안전은 모델이 한 말을 감시하는 일에서, 모델이 말하기 전에 어떤 생각을 거쳤는지 보는 일로 넓어질까.
댓글