AI 모델의 안전장치는 보통 “위험한 질문에 답하지 마”에 가까웠어. 입력을 걸러 보고, 출력도 검사하고, 모델이 거절하도록 훈련하는 방식이지.
그런데 이 방식에는 약점이 있어. 문 앞에서 막는 장치라서, 모델 안에 들어 있는 지식 자체는 그대로 남아 있어. 누군가 문지기를 속이면 그 지식이 다시 나올 수 있다는 뜻이야.
Anthropic과 AE Studio가 공개한 GRAM 연구는 질문을 조금 바꿔. “위험한 답을 못 하게 할 수 있나?”가 아니라, 위험하게도 쓸 수 있는 지식을 모델 안에서 따로 보관했다가 필요하면 꺼버릴 수 있나?를 묻는 실험이야.1
무슨 실험인가
여기서 말하는 위험 지식은 dual-use knowledge, 그러니까 좋은 일에도 나쁜 일에도 쓰일 수 있는 지식이야. 사이버보안 지식은 취약점을 고치는 데 필요하지만, 공격에도 쓰일 수 있어. 바이러스학 지식은 백신 연구에 필요하지만, 병원체 설계에도 악용될 수 있지.
기존 방법은 대체로 두 갈래였어. 하나는 모델이 위험한 요청을 거절하게 만드는 것. 다른 하나는 애초에 위험한 자료를 학습 데이터에서 빼고 모델을 다시 훈련하는 것.
둘 다 한계가 있어. 거절 규칙은 우회될 수 있고, 데이터 필터링은 너무 무거워. 예를 들어 바이러스학 지식이 켜진 모델과 꺼진 모델을 따로 만들려면, 비싼 프론티어 모델을 사실상 여러 번 훈련해야 해.
GRAM은 이 비용 문제를 피하려는 시도야. 한 모델을 훈련하되, 위험 지식 종류마다 따로 붙였다 뗄 수 있는 작은 칸을 만든다.
어떻게 떼어내나
GRAM은 Transformer의 각 층에 보조 뉴런을 추가하고, 그 뉴런을 지식 종류별 모듈로 나눠. 일반 텍스트를 배울 때는 모델이 평소처럼 배워. 그런데 바이러스학 같은 특정 지식의 자료를 배울 때는 일반 가중치를 얼리고, 해당 모듈만 배우게 해.1
그 결과가 의도대로라면, 바이러스학 지식은 모델 전체에 퍼지지 않고 바이러스학 모듈에 모인다. 배포할 때 그 모듈을 남겨두면 관련 지식을 쓸 수 있고, 삭제하면 그 능력이 빠지는 구조야.
flowchart LR A["학습 자료"] --> B{"일반 자료인가<br/>위험 지식인가"} B -->|일반 자료| C["기본 모델이 학습"] B -->|위험 지식| D["기본 모델은 얼림"] D --> E["해당 지식 모듈만 학습"] E --> F{"배포 조건"} F -->|신뢰된 사용처| G["모듈 켬"] F -->|제한된 사용처| H["모듈 제거"]
Anthropic이 설명한 실험에서는 네 가지 범주를 썼어. 바이러스학, 사이버보안, 핵물리학, 그리고 특수한 프로그래밍 언어 하나. 네 개가 각각 켜지거나 꺼질 수 있으니, 한 번 훈련한 모델을 열여섯 가지 조합으로 배포할 수 있다는 계산이 나와.
이건 수출통제와도 닿아 있어. 어떤 기술을 누구에게 줄 수 있느냐의 문제가 점점 API 접근, 모델 가중치, 배포 조건의 문제로 내려오고 있거든. Fable 5 사건이 정부가 이미 나온 모델 접근을 껐다 켠 사례라면, GRAM은 회사가 모델 내부에 더 세밀한 스위치를 만들 수 있는지 보는 실험이야.
확인된 것
실험 결과는 꽤 또렷해. 작은 동화 데이터셋에서는 특정 주제를 잊게 만든 GRAM 모델이, 그 주제를 학습 데이터에서 빼고 처음부터 따로 훈련한 모델과 비슷하게 움직였어.
더 현실적인 데이터셋에서도 비슷한 그림이 나왔어. 웹 텍스트, 코드, 과학 논문을 섞어 학습시키고 네 가지 위험 지식 범주를 분리했는데, 모듈을 삭제하면 해당 능력이 데이터 필터링만큼 줄었다고 해. 동시에 일반 성능은 크게 망가지지 않았다고 설명해.1
공격자가 빠진 지식을 되살릴 수 있는지도 봤어. 적은 양의 악의적 자료로 다시 학습시키는 공격에 대해 GRAM은 데이터 필터링과 비슷한 수준으로 버텼고, 사후 unlearning 방식보다 강했다고 해. 여기서 unlearning은 이미 배운 지식을 나중에 지우려는 기법인데, 이 실험에서는 약간의 재학습으로 다시 살아나기 쉬웠다는 거야.
크기 실험도 했어. 5천만 파라미터부터 50억 파라미터까지 일곱 크기에서 실험했고, 모델이 커질수록 모듈이 켜진 상태와 꺼진 상태의 차이가 더 벌어졌다고 한다. 적어도 이 범위에서는 “스케일이 커질수록 분리 효과가 흐려진다”보다는 반대에 가까운 결과가 나온 셈이야.
아직 모르는 것
가장 큰 단서는 Anthropic이 스스로 적어 둔 부분이야. 이 연구는 아직 초기 결과이고, Claude 같은 실제 제품 모델에는 적용되지 않았어. 앞으로 적용될지도 확실하지 않다고 회사가 선을 그었어.1
또 평가 방식도 제한적이야. 실험은 주로 다음 토큰을 얼마나 잘 맞히는지로 능력을 봤어. 실제 사람이 모델을 써서 생물학 실험 계획을 세우거나, 취약점 분석을 하거나, 방어 작업을 하는 상황과는 거리가 있어.
더 깊은 문제도 남아. 어떤 지식은 깔끔하게 칸을 나누기 어렵다. 바이러스학 지식과 일반 생물학 지식, 사이버공격 지식과 방어 지식은 서로 엉켜 있어. 너무 넓게 끄면 좋은 사용도 막고, 너무 좁게 끄면 위험한 사용이 남을 수 있어.
다음에 볼 것
첫째, 이 방식이 실제 모델 훈련 파이프라인에 들어가는지 봐야 해. 논문 수준의 실험과 프론티어 모델 제품의 훈련·배포는 다른 문제야.
둘째, 평가가 실제 업무로 내려오는지 봐야 해. 다음 토큰 예측이 아니라, 바이오·사이버보안 같은 구체 과제에서 모듈을 껐을 때 무엇이 줄고 무엇이 남는지가 중요해.
셋째, “신뢰된 사용처”를 누가 어떻게 정하는지가 남아. 모듈을 켤 수 있다는 건 결국 권한 관리의 문제야. 연구소, 정부기관, 기업 고객, 국가별 사용자에게 다른 모델 구성을 주는 일이 가능해지면, AI 안전은 모델 성능 문제가 아니라 배포 정책과 감사의 문제가 된다.
그래서 GRAM의 의미는 “위험 지식을 완벽히 지웠다”가 아니야. 더 정확히는, AI 회사들이 안전장치를 모델 바깥의 거절 규칙에서 모델 안의 구조 문제로 옮겨 보기 시작했다는 신호야.
댓글