외부 벤치마크에서 1등을 했던 모티프테크놀로지스가 정작 정부의 ‘독자 AI 파운데이션 모델(독파모)’ 2차 평가에서는 4위로 밀려 탈락했어. 데이터셋 기반 벤치마크에서는 1위였는데, 전문가·사용자가 직접 채점하는 ‘사용성’ 평가에서 점수를 깎였기 때문이야.
벤치마크 1위가 종합 4위로 떨어진 이유
정부가 모티프테크놀로지스의 이의신청 이후 공개한 세부 성적표를 보면, 벤치마크 점수와 사용성 점수가 정반대로 갈렸어. 모티프는 글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합에서도 1위(24.6점)를 기록했어. 그런데 전문가 평가에서 27.1점, 사용자 평가에서 14.1점을 받으면서 종합 65.8점, 순위로는 4위에 그쳤어.1
반면 SK텔레콤(70.6점)·업스테이지(69.9점)·LG AI연구원(69.0점)은 사용자 평가에서 18~19점대의 고른 점수를 받아 정량 평가 순위를 뒤집고 1~3위에 올랐어. 벤치마크 수치만 보면 모티프가 앞섰는데, 사람이 직접 써보고 매긴 점수에서 역전당한 셈이야.1
100점 중 60점이 사람 채점이다
이번 2차 평가는 총 100점 만점 중 60점을 전문가·사용자 평가에 배정했어. 데이터셋으로 자동 채점하는 벤치마크와 달리, 사람이 직접 모델을 써보고 매기는 방식이야.1
세부적으로는 산·학·연 전문가가 모델의 기술적 완성도와 비즈니스 연계성, 산업 파급효과를 평가하는 전문가 정성평가에 35점을 배정했어. 나머지 25점은 사용자 체감평가 몫인데, 개발사 정보를 가린 채 실시간으로 프롬프트를 입력해 문맥 이해도와 지시 이행 능력, 환각(할루시네이션) 억제력을 측정하는 방식이야. 사용자 평가는 전문 사용자(15점)와 일반 국민(10점)이 참여하는 블라인드 테스트로 진행됐고, 전문가 평가는 10명이 참여해 최고·최저점을 뺀 산술 평균을 적용했어. 사용자 평가에는 이해충돌 검증을 마친 AI 스타트업 대표 49명과 인구통계 쿼터제로 뽑힌 국민 185명이 참여했고, 블라인드 테스트에 최소 3분 이상 체감하도록 가이드라인을 정해뒀어.1
정부는 벤치마크 수치가 높아도 실전 서비스 환경에서 오류가 잦거나 효용이 떨어지면 국가대표 AI로서 경쟁력을 갖추기 어렵다는 점을 들어 이 사용성 평가의 정당성을 강조하고 있어.1
모티프와 업계는 채점 기준의 투명성을 문제 삼는다
모티프를 비롯한 업계 일각에서는 다른 목소리를 내. 데이터셋으로 채점하는 정량 지표와 달리, 전문가·사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 점수 편차가 생길 수 있으니 채점 기준을 더 투명하게 정립해야 한다는 주장이야.1
과학기술정보통신부는 이번 평가 기준이 정부의 일방적인 조치가 아니라 참여 기업 간 사전 합의를 거친 절차라고 반박해. 1차 평가 이후 모델의 독자성 확보뿐 아니라 실제 산업 현장과 서비스 환경에서 어떻게 쓰이는지가 중요하다는 지적이 많아 사용성 배점을 올리고 실사용자 평가 25점을 새로 넣었으며, 평가 전 최종안을 참여 기업에 안내했고 당시 이견이 없었다는 게 정부 입장이야.1
평가 때마다 기준 논란이 반복되고 있다
독파모 사업에서 평가지표를 둘러싼 갈등이 불거진 건 이번이 처음이 아니야. 앞선 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 평가하는 ‘독자성’ 지표의 기준이 모호하다는 지적이 나오며 한 차례 논란을 겪었어.1
1차의 독자성 논란에 이어 2차의 사용성 논란까지 이어지면서, 업계에서는 3차 평가의 신뢰도를 높이려면 가이드라인 보완이 시급하다는 지적이 나와. 배경훈 부총리 겸 과학기술정보통신부 장관은 “누구나 인정할 수 있는 세계적인 수준의 모델을 만들기 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다”고 말했어.1
댓글