에이전트를 쓰다 보면 제일 쉬운 개선 방법은 설명을 덧붙이는 일이야. 실패한 경우를 보고 “다음엔 이렇게 해”를 한 줄 더 넣고, 예외를 발견하면 또 한 줄을 붙이지.
문제는 그다음이야. 설명은 점점 길어지는데, 진짜 나아졌는지는 잘 모를 때가 많아. 한 벤치에서는 좋아지고, 다른 작업에서는 조용히 망가질 수 있어.
Microsoft Research가 공개한 SkillOpt는 이 지점을 정면으로 건드려. 핵심은 “스킬 파일을 더 잘 써보자”가 아니야. 에이전트 스킬을 손으로 고치는 문서가 아니라, 검증을 통과해야만 바뀌는 훈련 대상으로 보자는 제안이야.1
무슨 일
SkillOpt는 에이전트가 읽는 스킬 파일을 모델 바깥의 훈련 가능한 매개변수처럼 다뤄. 모델 가중치는 고정해 둔다. 대신 별도의 최적화 모델이 실행 기록을 읽고, 스킬 파일에 작은 수정안을 내고, 그 수정이 검증 작업에서 기존 스킬보다 나을 때만 받아들여.1
흐름은 딥러닝 훈련을 텍스트 파일 위로 옮긴 것에 가깝다.
flowchart TD A["현재 스킬 파일"] --> B["작업 실행 기록 수집"] B --> C["성공과 실패 패턴 반성"] C --> D["작은 텍스트 수정 제안"] D --> E["검증 작업으로 성능 확인"] E -->|"좋아지면"| F["새 스킬 채택"] E -->|"나빠지면"| G["거절 이력으로 저장"] F --> A G --> C
여기서 중요한 장치는 세 가지야. 첫째, 수정 폭을 제한해. 발표문은 이것을 텍스트의 학습률처럼 설명해. 둘째, 검증 분할을 둬서 새 스킬이 현재 스킬보다 엄격히 나을 때만 채택해. 셋째, 거절된 수정도 버리지 않고 다음 수정의 부정 예시로 남겨.
이 셋이 없으면 스킬 파일은 쉽게 비대해져. 실패를 볼 때마다 문장을 덧붙이면 그럴듯한 교훈은 늘지만, 실제 행동은 더 흔들릴 수 있어. SkillOpt의 주장은 “더 많은 지시”가 아니라 “통제된 수정”이 성능을 만든다는 쪽이야.
왜 중요한가
agentic workflow에서는 모델 성능만으로 일이 끝나지 않아. 에이전트는 문서를 읽고, 도구를 부르고, 중간 결과를 보고, 다음 행동을 고른다. 이때 스킬 파일은 단순한 프롬프트가 아니라 작업 절차를 담은 얇은 운영층이 돼.
그래서 스킬을 아무렇게나 고치는 일은 생각보다 위험해. “스프레드시트 문제에서는 항상 먼저 열 이름을 확인하라” 같은 문장은 좋아 보이지만, 다른 표 구조에서는 시간을 낭비하게 만들 수 있어. “파일을 고치기 전 테스트를 돌려라”는 조언도 맞는 말이지만, 테스트가 없거나 너무 느린 환경에서는 다른 전략이 필요하지.
SkillOpt가 재미있는 이유는 이 절차 지식을 모델 가중치가 아니라 자연어 파일에 남긴다는 데 있어. fine-tuning처럼 무겁지 않고, 하드코딩처럼 닫혀 있지도 않아. 사람이 읽고 버전 관리할 수 있는 파일인데, 바뀔 때는 훈련 절차와 검증을 통과해야 해.
이건 NVIDIA가 물리 AI에서 말한 에이전트 스킬과도 다른 축이야. NVIDIA 쪽 스킬은 로봇 연구 절차를 플랫폼 안에서 실행 가능한 작업으로 묶는 이야기였어. SkillOpt는 그 스킬 자체를 어떻게 더 낫게 만들고, 망가뜨리지 않고, 다른 환경으로 옮길 수 있는지를 묻는다.
확인된 것
Microsoft Research의 발표문은 결과 숫자를 꽤 공격적으로 제시해. SkillOpt는 SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMathematicianBench, ALFWorld 6개 벤치마크와 7개 대상 모델, 3개 실행 모드를 합친 52개 평가 셀에서 최고 또는 공동 최고였다고 설명해.1
특히 GPT-5.5 direct chat 기준 여섯 벤치마크 평균은 58.8에서 82.3으로 올랐다고 한다. SpreadsheetBench는 41.8에서 80.7, OfficeQA는 33.1에서 72.1, LiveMathematicianBench는 37.6에서 66.9로 뛰었다고 제시돼.1
작은 모델 쪽 주장도 눈에 띈다. 발표문은 최적화된 스킬을 붙인 GPT-5.4-mini 평균이 스킬 없는 더 큰 GPT-5.4보다 높고, Qwen3.5-4B도 스킬 없는 GPT-5.2 기준선을 넘었다고 말해. 모델을 키우지 않고도 절차 파일 하나로 다음 모델 티어에 가까워질 수 있다는 주장이지.1
전이 결과도 핵심이야. 스프레드시트 스킬을 Codex 안에서 훈련한 뒤 Claude Code에 그대로 옮겼을 때, 스킬 없는 기준선 22.1이 81.8로 올라갔다고 발표문은 설명해. 두 실행 환경의 도구 표면이 다른데도 좋아졌다면, 스킬이 특정 도구 호출 꼼수가 아니라 일반적인 작업 절차를 배웠다는 해석이 가능해.1
아직 모르는 것
다만 이걸 “스킬 파일만 훈련하면 모든 에이전트가 안정된다”로 읽으면 너무 빠르다. SkillOpt가 힘을 내려면 검증기가 있어야 해. 정답을 자동으로 채점하거나, 적어도 믿을 만한 평가 작업을 나눠 둘 수 있어야 하지.
코딩, 스프레드시트, 문서 질의처럼 결과를 비교하기 쉬운 곳에서는 이 방식이 잘 맞을 수 있어. 반대로 고객 환불, 법무 검토, 투자 판단처럼 정답이 늦게 드러나거나 사람의 책임이 큰 일에서는 검증 분할을 만드는 것부터 어렵다.
또 하나는 발표 주체의 프레임이야. Microsoft Research 글은 당연히 연구 성과의 좋은 면을 보여줘. 독립 재현, 다른 조직의 실제 업무, 장기 운용에서 스킬이 얼마나 오래 안정적인지는 아직 따로 봐야 해. 특히 한 번 좋아진 스킬이 시간이 지나 업무 데이터와 도구가 바뀔 때도 안전하게 유지되는지는 별개의 질문이야.
다음에 볼 것
첫째, 이 방식이 실제 개발팀의 스킬 관리 방식으로 들어가는지 봐야 해. 사람이 스킬을 고치고 리뷰하는 수준을 넘어, 변경마다 훈련 기록과 검증 점수가 붙는다면 에이전트 운영은 모델 선택보다 스킬 생애주기 관리에 가까워진다.
둘째, 자동 채점기가 약한 업무에서 어떤 대체 검증이 나오는지 봐야 해. 사람 평가, 샘플링 감사, 안전 규칙, 비용 제한이 섞이면 SkillOpt 같은 절차가 어디까지 쓸 수 있는지 갈릴 거야.
셋째, 스킬 파일이 정말 조직의 지식 자산이 되는지 봐야 해. 특정 모델에 묶인 프롬프트 조각이 아니라, 여러 모델과 실행 환경을 옮겨 다니는 작은 작업 매뉴얼이 된다면 에이전트 경쟁의 한 축은 “모델을 누가 쓰느냐”에서 “좋은 스킬을 누가 축적하느냐”로 옮겨갈 수 있어.
댓글