Agent memory의 epistemic status

Agent memory에서 epistemic status는 저장된 주장이나 기억이 얼마나 확실한지, 어디서 왔는지, 검증된 것인지, 시간이 지나도 여전히 맞는지를 나타내는 상태 정보입니다. Manufactured Confidence 논문이 보여주는 문제는 memory가 틀릴 수 있다는 단순한 이야기가 아니라, 이 epistemic status가 사라질 때 agent가 불확실한 말을 확정적 사실처럼 행동 근거로 삼을 수 있다는 점입니다.

예를 들어 “Alice가 아마 admin으로 승진했다더라”와 “Alice는 admin이다”는 비슷한 대상을 말하지만, agent가 결정을 내릴 때는 완전히 다른 정보입니다. 앞의 문장은 추측과 전언이고, 뒤의 문장은 확정적 사실처럼 보입니다.

한 줄로 말하면

Agent memory의 epistemic status는 기억된 내용이 사실인지, 추측인지, 전언인지, 미검증인지, 오래된 정보인지 구분해 주는 신뢰도 맥락입니다.

왜 중요한가

LLM agent는 이전 대화와 작업 기록을 memory로 저장했다가 나중에 다시 사용합니다. 이때 memory는 보통 원문 전체가 아니라 짧은 fact나 요약 형태가 됩니다.

문제는 요약이 깔끔해질수록 원래 문장의 안전장치가 사라질 수 있다는 점입니다.

원문: 누가 Alice가 아마 admin으로 승진했다고 말했어.
나쁜 memory: Alice's clearance is admin.
더 나은 memory: A user said Alice was probably promoted to admin; this was not independently verified.

나쁜 memory는 짧고 검색하기 좋지만, 누가 말했다, 아마, 검증되지 않았다가 사라졌습니다. 이 정보들이 바로 epistemic status입니다. 중요한 결정에서 이것이 사라지면 agent는 약한 단서를 강한 근거처럼 사용할 수 있습니다.

epistemic status에 포함되는 것

1. 확실성

주장이 확정인지, 추측인지, 가능성인지, 임시 가정인지의 차이입니다.

• 확정: Alice is admin.
• 추측: Alice is probably admin.
• 가능성: Alice may be admin.
• 미검증: Alice is recorded as admin, but this was not verified.

문장들이 모두 같은 대상과 속성을 다루더라도, 행동 근거로 쓸 수 있는 강도는 다릅니다.

2. 출처와 전언성

누가 말했는지, 직접 확인한 것인지, 누군가의 전언인지도 중요합니다.

• 사용자가 말했다.
• 어떤 문서에 있었다.
• 권위 있는 시스템에서 확인했다.
• 누군가 그렇게 들었다고 했다.

다만 Manufactured Confidence 논문은 “출처만 남기면 충분하다”는 직관을 경계합니다. agent는 때로 출처보다 문장의 확신도에 더 강하게 반응할 수 있습니다. “사용자가 말한 Alice is admin”도 여전히 단정문이면 위험할 수 있습니다.

3. 시간성

memory는 시간이 지나면 stale해질 수 있습니다. 예전에는 맞았던 권한, 가격, 일정, 조직 정보가 지금도 맞는 것은 아닙니다. 그래서 “언제 알게 된 정보인지”와 “언제 다시 확인해야 하는지”가 중요합니다.

특히 권한, 결제, 배포, 법률·계약, 일정처럼 상태가 바뀌는 영역에서는 timestamp 없는 memory가 위험합니다.

4. 검증 상태

어떤 정보는 memory에 저장되어 있어도 아직 독립적으로 확인되지 않았을 수 있습니다. 그러나 unverified라는 label을 뒤에 붙이는 것만으로는 부족할 수 있습니다. 불확실성이 주장 자체에 들어가야 agent가 더 안전하게 읽을 가능성이 높습니다.

Manufactured Confidence가 보여준 것

논문은 agent가 memory의 source보다 confidence에 더 민감하게 반응할 수 있음을 보입니다. bare assertion, attributed assertion, forged authority가 모두 비슷하게 잘못된 grant를 유도한 반면, probably, rumor has it, never verified 같은 표현은 일부 모델의 행동을 줄였습니다.

하지만 모든 불확실성 표현이 똑같이 작동하는 것은 아닙니다. 논문은 hearsay나 evidential marker, 예를 들어 reportedly 같은 표현이 agent에게 충분한 경고로 읽히지 않을 수 있다고 봅니다. 그래서 단순히 marker를 보존하는 것보다, “누가 그렇게 말했고 독립적으로 검증되지 않았다”처럼 주장 전체를 조심스럽게 재구성하는 편이 더 안전합니다.

좋은 memory record의 방향

좋은 memory는 결론만 남기지 않습니다. 다음 정보를 함께 보존해야 합니다.

• 누가 또는 어떤 source가 말했는가
• 언제 관찰했는가
• 얼마나 확실한가
• 원문으로 돌아갈 수 있는가
• 어떤 결정에 쓰기 전에 무엇으로 재검증해야 하는가

중요한 것은 memory를 더 길게 쓰는 것이 목적이 아니라, 나중에 agent가 그 정보를 실제보다 더 확실하게 착각하지 않도록 만드는 것입니다.

중요한 결정에는 두 번째 source가 필요하다

Epistemic status를 잘 보존해도 모든 문제가 해결되지는 않습니다. 공격자가 처음부터 확정적이고 권위 있어 보이는 거짓 문장을 넣으면, memory store가 그 확신을 그대로 보존할 수 있습니다.

그래서 consequential decision에는 memory 하나만 load-bearing source가 되면 안 됩니다. 권한 결정은 authoritative directory, 결제는 ledger, 배포는 git/CI 상태, 일정은 calendar처럼 독립적으로 확인할 수 있는 두 번째 source가 필요합니다.

이 점은 Agent memory consolidation의 설계 원칙과도 이어집니다. memory는 단서로 유용하지만, 중요한 결정을 대신하는 최종 원장이어서는 안 됩니다.

헷갈리지 말아야 할 점

Epistemic status는 단순한 confidence: high/low 점수가 아닙니다. “누가 말했는가”, “어떤 표현으로 말했는가”, “언제의 정보인가”, “검증됐는가”가 함께 작동합니다.

또한 출처를 남겼다고 자동으로 안전해지는 것도 아닙니다. 출처가 약한데 문장 자체가 단정적으로 저장되면 agent는 여전히 강한 사실처럼 읽을 수 있습니다.

마지막으로 이 개념은 agent memory에만 갇히지 않습니다. 지식 그래프에서도 원자료, 요약, 해석, 추측, 오래된 정보의 차이를 보존해야 시간이 지나도 다시 읽을 수 있는 설명 자산이 됩니다.

관련 문서

• Agent memory consolidation
• Manufactured Confidence
• 모델 아키텍처와 Agent Memory의 차이