정부가 밀고 있는 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트가 곧 2차 평가 결과를 발표해. 여기 남는 팀은 4곳 중 3곳뿐이야. LG AI연구원·SK텔레콤·업스테이지·모티프테크놀로지스가 최근 허깅페이스에 공개한 모델 기술자료를 보면, 네 팀이 규모를 키우는 방법부터 다 다르게 짰다는 게 드러나.
같은 크기 경쟁이 아니다
1차 평가에서 1위였던 LG AI연구원은 있는 모델을 더 키우는 쪽을 골랐어. ‘업사이클링’ 방식이야. 기존 모델의 학습 결과와 가중치를 그대로 살려서 확장하니까, 처음부터 새 모델을 만드는 것보다 시간과 비용이 덜 든다는 게 이 방식의 강점이지. LG AI연구원은 새 모델 ‘K-엑사원 2.0’이 이 업사이클링을 거쳐 “이전 모델보다 3배 이상 규모를 확장했다”고 설명했어. 지속적인 사전 학습과 난이도 중심 중간 학습, 사후 학습까지 거쳤고, 장문 문맥 검색과 안전성에서 성능이 상당히 좋아졌다고 밝혔지.
SK텔레콤의 ‘A.X K2’는 다른 길이야. 총 파라미터는 688B(6880억개)에 달하지만, 실제로 답을 낼 때 켜지는 파라미터는 33B(330억개) 수준이야. 전체 지식은 그대로 갖고 있으면서 실제 연산은 줄이는 혼합전문가(MoE) 구조를 쓴 거지. SK텔레콤은 “한국어와 한국 문화에 대한 깊은 이해”를 목표로 내걸었고, 복잡한 문제는 깊게 생각하는 모드로, 간단한 질문은 빠르게 답하는 모드로 나눠 품질과 비용의 균형을 고를 수 있다고 설명했어.
업스테이지는 아예 다시 짓는 쪽에 가까워. ‘솔라 오픈2’는 전작 가중치 중 약 2.3%만 계승하고, 나머지는 무작위로 새로 초기화해서 250B(2500억개) 모델을 만들었어. 대부분을 새로 학습시킨 셈이야. 업스테이지는 이 모델이 문서 작업이나 코딩 같은 에이전트 기반 작업에 최적화됐고, 선형 어텐션을 적용한 하이브리드 어텐션 기반 MoE 구조 덕에 긴 문맥에서도 효율적으로 추론한다고 강조했어.
다크호스는 가장 작게 켠다
넷 중 가장 눈에 띄는 건 모티프테크놀로지스야. ‘모티프 3’는 전체 3140억개 파라미터 중 실제 추론에서 활성화되는 규모가 132억개뿐이야. SK텔레콤의 활성 파라미터(330억개)보다도 작아. 자체 개발한 아키텍처로 처음부터 새로 구축했고, 한국어와 추론이 많이 필요한 문제, 법률·금융 데이터에 중점을 뒀다고 밝혔어.
전체 크기로 보면 SK텔레콤(6880억개)·모티프(3140억개)·업스테이지(2500억개) 순인데, 실제로 쓰는 부분(활성 파라미터)은 모티프가 SK텔레콤보다도 작아. 규모 자체보다 “얼마나 켜서 쓰는가”가 팀마다 완전히 다른 셈이야.
회사 발표와 외부 점수가 갈린다
여기까지는 각 팀이 스스로 설명한 얘기야. 그런데 지난 13일 공개된 제3자 평가인 ‘아티피셜 애널리시스 인텔리전스 지수(AAII)‘에서는 순서가 뒤집혔어. 모티프 3가 47점으로 가장 높았고, 업스테이지 솔라 오픈2가 37점, SK텔레콤 A.X-K2가 35점, LG AI연구원 K-엑사원 2.0이 31점으로 가장 낮았어.1
1차 평가 1위였던 LG의 K-엑사원 2.0이 이번 외부 지수에서는 최하위였고, 가장 작은 활성 파라미터로 만든 모티프 3가 가장 높은 점수를 받았어. 전체 규모나 업사이클링으로 확보한 3배 확장이 곧바로 성능 우위로 이어지지는 않았다는 뜻이야.
다음에 볼 것
독파모 2차 평가는 벤치마크 점수(40점)에 전문가 평가(35점)와 사용자 평가(25점)를 더해 100점 만점으로 매겨. 정부는 이 결과를 조만간 발표할 예정이고, 4팀 중 3팀만 다음 단계로 살아남아. AAII 점수가 벤치마크 배점과 그대로 일치하지는 않으니, 발표되는 순위가 이 외부 지수와 같을지 다를지가 이번 평가를 읽는 첫 번째 기준이 될 거야.
댓글