정부의 독자 AI 파운데이션 모델(독파모) 프로젝트가 두 번째 컷오프를 앞두고 있다. 평가 결과는 이르면 이번 주 발표될 것으로 알려졌다. LG AI연구원과 SK텔레콤, 업스테이지, 모티프테크놀로지스 등 4개 팀 가운데 한 팀이 탈락하고 3개 팀이 경쟁을 이어간다.
이번 경쟁에서 가장 눈에 띄는 팀은 후발주자인 모티프다. 추가 공모를 통해 다른 팀보다 한 달 늦게 합류했지만 최근 공개된 글로벌 성능평가에서는 대기업과 선발주자들을 모두 제쳤다. 공개평가에서 일으킨 이변이 정부 평가에서도 이어질지 주목된다.
美·中 제외하면 모티프가 최고점
18일 과학기술정보통신부 등에 따르면 최근 공개된 글로벌 AI 분석기관 아티피셜 애널리시스의 종합성능지수(AAII)에서 모티프의 '모티프 3'는 47점을 받았다. AAII는 어려운 문제를 풀고 지식을 활용하거나 코드를 작성하는 능력 등을 9개 시험으로 평가한다.
모티프 3는 공개 당시 전 세계 AI 언어모델 가운데 10위에 올랐다. 미국과 중국을 제외한 국가에서 개발된 모델 중에서는 가장 높은 점수다.
독파모 경쟁팀 가운데 업스테이지의 '솔라 오픈2 250B'는 37점, SK텔레콤의 'A.X K2'는 35점, LG AI연구원의 'K-엑사원 2.0'은 31점으로 뒤를 이었다.
특히 모티프는 단순히 질문에 답하는 것을 넘어 AI가 외부 도구를 활용해 실제 업무를 수행하는 시험에서 강점을 보였다.
모티프가 공개한 기술자료에 따르면 금융 업무에 필요한 도구를 적절하게 활용하는지를 평가한 시험에서 35.3점을 받아 딥시크 V4 프로 등 비교 대상 모델들을 앞섰다. 컴퓨터 환경에서 직접 코드를 작성하고 작업을 수행하는 시험에서도 세계 선두권의 성능을 보였다.
덩치 절반인데 성능은 앞서…모델 크기가 전부 아니다
모티프는 AI 모델을 무조건 크게 만들지 않고도 높은 성능을 낼 수 있다는 가능성도 보여줬다.
AI 모델의 규모를 나타내는 대표적인 지표가 '매개변수'다. AI가 학습 과정에서 익힌 정보를 담는 수많은 숫자로, 일반적으로 많을수록 더 많은 정보를 학습할 여지가 생기지만 그만큼 연산 부담도 커진다.
모티프 3의 전체 매개변수는 3140억 개다. 하지만 답변을 생성할 때 한 번에 작동하는 매개변수는 132억 개에 그친다. 전체 모델을 매번 가동하지 않고 질문에 필요한 부분만 골라 사용하는 방식이다.
반면 LG의 K-엑사원 2.0은 전체 매개변수가 7500억 개로 모티프 3의 두 배가 넘는다. 실제 답변을 만들 때 작동하는 매개변수도 370억 개로 더 많다. 그럼에도 이번 공개평가 점수는 모티프 3보다 낮았다.
모델의 덩치가 크다고 반드시 성능도 높은 것은 아니며, 어떤 구조로 설계하고 어떻게 학습했는지도 중요하다는 의미다. 다만 매개변수 규모만으로 실제 서비스 비용이나 답변 속도 등 효율성까지 단순 비교할 수는 없다.
공개점수 1위가 생존 보장하진 않아
그렇다고 AAII 순위가 정부 평가의 당락으로 그대로 이어지는 것은 아니다. AAII는 모델의 문제 해결 능력을 비교하는 데 유용하지만 실제 서비스 속도와 비용, 한국어와 국내 업무 환경에서 얼마나 잘 작동하는지까지 모두 보여주는 지표는 아니다.
더욱이 4개 팀의 모델은 모두 미국 연구기관 에포크AI가 기술 발전 과정에서 의미가 있다고 판단한 '주목할 만한 모델' 명단에 이름을 올렸다. 공개된 성능지표만 놓고 어느 한 팀을 뚜렷한 약체로 꼽기 어려운 이유다.
독파모 2차 평가의 세부 기준은 공개되지 않았다. 다만 업계에서는 AI가 외부 도구를 활용해 복잡한 업무를 끝까지 수행하는 능력과 한국어·국내 업무 환경에서의 활용성, 실제 서비스에 필요한 속도와 비용 등이 주요 변수가 될 것으로 보고 있다. 모델 설계부터 학습까지 자체적으로 수행했는지를 따지는 독자성 역시 기본 조건이다.
결국 공개평가에서 앞선 모티프가 실제 업무에서도 도구 활용 능력을 입증했는지, 다른 세 팀이 현장 적용 경험과 서비스 기반에서 우위를 보였는지가 이번 컷오프의 관전 포인트다.