데스크톱 에이전트의 점수는 모델 밖에서 갈렸다

데스크톱 에이전트의 실력은 대화창 안에서만 드러나지 않아. 실제 윈도 화면을 열고, 메뉴를 누르고, 결과가 맞는지 확인해야 하는 순간부터는 모델 바깥의 실행 구조가 점수에 들어와.

소르테크 AX프론티어팀과 인제대학교 미디어랩은 마이크로소프트가 공개한 Windows Agent Arena(WAA) 154개 과제를 한 번의 실행으로 평가해 64.22%(98.9/154)의 성공률을 기록했다고 발표했어. 기사에 따르면 이는 당시 공개된 단일 실행 결과 중 가장 높은 점수였고, 종전 최고 기록으로 소개된 OS-Symphony(GPT-5)의 63.5%를 넘었어.¹

WAA는 실제 Windows 11 환경에서 문서 작성, 웹 브라우징, 시스템 설정, 코딩, 미디어 재생, 유틸리티 등 7개 영역의 실무형 과제를 다뤄. 과제마다 결정론적 검증 스크립트가 목표 상태를 확인하고, 그 결과를 점수에 반영하는 방식이야. 말로 그럴듯한 답을 만드는 시험이 아니라, 화면 위에서 원하는 상태를 실제로 만들었는지를 보는 시험에 가까워.¹

같은 모델인데 왜 점수가 달라졌을까

핵심 비교는 모델을 바꾼 실험이 아니야. 같은 Gemini 3.1 Pro Preview를 백본으로 두고 세이프툴만 적용한 기본 구성은 41.56%(64/154)를 기록했어. 여기에 연구팀의 세이프툴 오케스트레이션과 UI 자동화·최적화 파이프라인을 결합하자 성공률이 64.22%로 올라갔지.¹

이 차이를 기사만으로 일반화할 수는 없어. 과제 실행 조건과 비교 방식 전체를 독립적으로 재현한 결과가 아니기 때문이야. 다만 이 사례가 보여주는 방향은 분명해. 데스크톱 에이전트에서는 모델이 다음 행동을 고르는 능력만큼, 도구를 어떤 순서로 연결하고 화면을 어떻게 조작하며 실패를 어떻게 되돌리는지가 중요하다는 거야. 이런 모델 바깥의 실행 층은 agentic workflow를 실제 업무에 붙일 때 설계 대상이 돼.

성공률보다 로그가 말해주는 것

세부 결과를 보면 코딩 과제 24개는 모두 성공했고, 시스템 설정은 5개 중 5개, 계산기는 3개 중 3개, 메모장은 2개 중 2개였어. 파일 탐색기는 19개 중 15개를 성공해 78.9%를 기록했지. 모든 종류의 화면 조작이 같은 난이도는 아니라는 점이 드러나.¹

규칙 위반은 0건으로 집계됐어. 특정 앱이나 경로를 사용하라는 과제에서 결과만 맞추는 지름길이 아니라 지정된 UI 경로를 따라갔다는 뜻으로 설명돼. 실행 로그에도 단계별 감사 기록 822건, 후보 행동 재정렬 84건, LibreOffice 모달 복구 감사 493건, 일반 복구 조치 19건이 남았다고 해.¹

이 숫자들은 성공률을 올린 파이프라인이 이름만 있는 설정은 아니었다는 정황이야. 행동을 고르고, 결과를 확인하고, 막힌 화면을 복구하는 과정이 실제 실행에 개입했다는 뜻이지. 데스크톱 자동화에서 검증과 복구는 실패 뒤에 붙는 장식이 아니라, 성공을 구성하는 일부로 보이기 시작해.

아직 모르는 것

이번 결과가 다른 모델과 다른 운영 환경에서도 같은 폭의 차이를 만드는지는 아직 알 수 없어. 기사에 나온 비교는 한 번의 클린 실행이고, 연구팀도 실패한 55개 과제를 원인별로 분류해 취약 영역을 분석하고 후속 연구를 진행하겠다고 밝혔어.¹

그래서 다음에 볼 것은 단일 최고점보다 반복 실행 결과야. 과제별 실패 원인이 공개되는지, 다른 모델에도 같은 오케스트레이션·검증·복구 구조가 통하는지, 실제 업무 환경에서 성공률과 함께 권한·기록·복구 조건을 재현할 수 있는지가 관건이야.

각주

1. 전자신문/노동균, 「소르테크-인제대, ‘윈도 데스크톱 AI 에이전트’ 표준 벤치마크서 최고기록 경신」(2026-07-12) 기사. ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶