J-space

이 문서는 자라는 중인 질문입니다. 아직 증거를 모으고 있으며, 내용이 바뀔 수 있습니다.

한 줄로 말하면

J-space는 언어모델이 답을 내기 전에 잠시 떠올린 중간 개념 가운데 일부가 여러 계산 단계에서 함께 쓰이는 내부 작업 공간이라는 가설이야. Anthropic은 Claude에서 이 공간의 표현을 읽고 바꾸었을 때 뒤의 답도 달라지는 실험을 보고했다.¹

비유로 이해하기

여러 사람이 같은 화이트보드를 잠깐 함께 보는 모습을 떠올리면 쉬워. 누군가 적은 단어가 다음 사람이 무엇을 할지 바꾸지만, 화이트보드 전체가 모든 일을 대신하지는 않아. J-space도 모델 안의 모든 계산을 담는 기억창고라기보다, 몇 가지 중간 개념이 다음 계산에 다시 쓰일 수 있는 작은 공유 자리로 이해하는 편이 가까워.

여기까지가 쉽게 이해를 돕기 위한 비유야. 모델 안에는 수많은 수치 표현이 동시에 움직이고, J-space가 그 전체를 그대로 보여 주는 것은 아니야. 어떤 표현을 읽을 수 있는지와 그 표현이 실제로 원인인지까지는 별도로 확인해야 해.

정확한 정의

J-space라는 이름은 Anthropic이 Claude의 내부 활성값을 해석하며 붙였어. 연구진은 J-lens라는 방법으로 특정 내부 패턴이 다음에 어떤 단어를 말하게 만들 가능성이 큰지 읽고, 그렇게 드러난 단어 묶음을 작업 공간의 내용으로 다뤘다.¹

말로 출력되는 chain-of-thought와는 자리가 달라. chain-of-thought는 모델이 독자에게 보여 주는 중간 풀이인 반면, J-space는 출력에 나타나지 않을 수 있는 내부 표현을 가리켜. 그래서 둘이 같은 단어를 다룰 수는 있어도, 하나를 봤다고 다른 하나까지 확인한 것은 아니야.

flowchart LR
    A["입력과 앞선 계산"] --> B["내부 표현"]
    B --> C["J-space에서 읽히는 중간 개념"]
    C --> D["뒤의 추론 계산"]
    D --> E["출력"]

왜 중요한가

모델의 최종 답만 보면 그 답이 어떤 중간 판단을 거쳤는지 알기 어렵다. J-space가 실제로 여러 단계의 추론에 쓰인다면, 내부의 오류 신호나 위험한 방향을 더 이른 시점에 살필 수 있는 창이 될 수 있어.

Anthropic은 내부 표현에서 수학 문제의 중간값, 코드 오류에 가까운 신호, 조작된 정보에 대한 경고를 읽었다고 설명해. 또 거미를 가리키는 표현을 개미 쪽으로 바꾸면 다리 수 답이 함께 바뀌는 식의 개입 실험도 제시했다.¹ 핵심은 내부 표현을 읽는 데서 멈추지 않고, 그 표현을 바꾸었을 때 결과도 함께 움직였는지를 보려 했다는 점이야.

이런 관찰은 Claude의 J-space 실험과 LLM의 긴 생각은 기억을 데우는 예열이다가 만나는 자리이기도 해. 하나는 출력되지 않은 내부 표현을, 다른 하나는 출력된 reasoning 토큰이 사실 회상에 미치는 영향을 다뤄. 둘 다 모델이 답을 내기 전에 무엇을 떠올리고 그것이 다음 계산에 어떤 영향을 주는지 묻는다.

실제 예시

Claude가 거미의 다리 수를 묻는 문제를 푼다고 해 보자. 모델이 화면에 중간 생각을 쓰지 않아도, 내부에는 거미와 연결된 표현이 나타날 수 있어. 연구진은 이 표현을 개미 쪽으로 바꾸었을 때 답이 8에서 6으로 바뀌었다고 보고했어.¹

프랑스와 연결된 내부 표현을 중국 쪽으로 바꾸었을 때 수도·언어·대륙·통화 관련 답이 함께 바뀐 사례도 같은 맥락이야. 하나의 표현이 여러 질문에 재사용될 수 있다는 실험적 단서지만, 이 결과만으로 모든 언어모델에 같은 구조가 있다고 말할 수는 없어.

헷갈리지 말아야 할 점

• J-space는 의식의 증거가 아니야. 이 개념은 모델이 무엇을 경험하는지가 아니라, 어떤 내부 표현이 보고되고 조절되며 추론에 쓰이는지를 다뤄.
• J-space는 모델 전체가 아니야. Anthropic은 이 공간을 제거해도 문법적 문장 생성이나 단순 과제의 능력은 대체로 남고, 다단계 추론 같은 일부 작업이 더 크게 흔들린다고 설명해.¹
• 읽을 수 있다고 곧바로 이해한 것은 아니야. J-lens가 특히 잘 읽는 표현의 범위, 표현이 생기는 원인, 다른 모델에서의 재현성은 더 확인해야 해.
• 내부 감시가 곧 안전 장치는 아니야. 위험 신호를 잡는 정확도와, 그 신호에 맞춰 무엇을 할지를 정하는 일은 서로 다른 문제야.

관련 문서

• Claude의 J-space 실험 — 내부 표현을 읽고 바꾸는 실험의 맥락
• LLM의 긴 생각은 기억을 데우는 예열이다 — 출력된 reasoning이 사실 회상에 미치는 영향

남은 질문들

• J-lens가 읽는 단어 후보는 내부 활성값의 어느 범위까지 충실하게 설명할까?
• J-space와 비슷한 공유 작업 공간은 다른 모델과 다른 과제에서도 재현될까?
• 내부 표현을 바꾸는 실험은 다단계 추론 외의 실제 도구 사용에서도 같은 인과 관계를 보일까?
• 내부 감시는 위험한 행동의 경고, 실행 중단, 사후 분석 가운데 어디에 가장 잘 쓰일까?

각주

1. Anthropic, 「A global workspace in language models」(2026-07-06) 공식 연구 글. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵