연합뉴스세계 10위권의 성적표도 '국가대표 AI'의 보증수표가 되지는 못했다. 글로벌 AI 성능평가에서 국내 모델 가운데 가장 앞선 성적을 거둔 모티프가 정부의 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 18일 탈락했다.
글로벌 벤치마크에서는 앞섰지만 정부 평가에서는 밀린 이유는 무엇일까.
30명 스타트업이 만든 세계 10위권 AI
연합뉴스
모티프테크놀로지스는 직원 30여 명 규모의 AI 스타트업이다. 모델의 기본 구조부터 문장을 AI가 처리할 단위로 나누는 토크나이저, 학습 효율을 높이는 옵티마이저까지 핵심 기술을 자체 개발했다.
이런 독자 기술을 집약해 만든 '모티프3'는 글로벌 AI 분석기관 아티피셜 애널리시스의 종합성능지수(AAII)에서 47점을 받으며 주목받았다. 공개 당시 전 세계 기업별 최고 모델 가운데 10위에 올랐고, 미국과 중국 이외 국가에서 개발된 모델 중에서는 가장 높은 순위를 기록했다.
AAII 같은 '벤치마크'는 여러 AI 모델에 같은 문제를 풀게 해 추론과 코딩, 지식 등 성능을 비교하는 일종의 공통시험이다. 모티프3는 에이전트와 코딩 등 난도가 높은 분야에서도 미국·중국 빅테크 모델에 버금가는 성적을 냈다.
글로벌 성능은 25점…당락 가른 '사용성'
하지만 글로벌 벤치마크 성적이 독파모 평가에서 차지하는 비중은 전체 100점 가운데 25점에 불과했다. 정부는 AAII 25점에 한국어와 안전성·신뢰성 등을 측정하는 국내 성능시험 15점, 전문가 평가 35점, AI 전문 사용자 평가 15점, 일반 국민 평가 10점을 합산해 순위를 매겼다.
AAII에서 모델 간 벌어진 성능 격차도 25점 만점으로 환산하는 과정에서 줄어든다. 취재진에게 평가 산식을 설명하던 과학기술정보통신부 관계자가 "배점에 문제가 있다"고 귀띔한 것도 이런 이유에서다.
팀별 총점과 항목별 세부점수, 순위는 공개되지 않아 모티프가 구체적으로 어느 항목에서 얼마나 뒤졌는지는 확인하기 어렵다. 과기부는 3개 평가 영역의 1위가 모두 달랐고, 어느 한 팀도 모든 영역에서 줄곧 1위를 차지하지는 않았다고만 설명했다.
다만 과기부는 모티프의 약점으로 '사용성·활용성'을 지목했다. 류제명 과기부 2차관은 이날 브리핑에서 모티프에 대해 "기술력은 뛰어났지만 사용성·활용성에서는 다른 기업들보다 낮은 평가를 받았다"고 말했다. 정부가 모델 자체의 기술적 성능뿐 아니라 실제 서비스와 산업 현장에서 얼마나 유용하게 활용될 수 있는지도 비중 있게 평가했다는 설명이다.
2차 평가를 통과한 LG AI연구원도 자사 모델의 활용성을 강조했다. LG AI연구원은 이날 보도자료에서 'K-엑사원'의 규모를 이전 모델보다 3배 이상 키우면서 초대형 모델을 안정적으로 학습·운영할 기술 기반을 마련하고, 사용자가 체감하는 응답 품질과 활용 성능도 개선했다고 밝혔다.
모티프는 사용성 평가 결과를 모델의 기술적 역량에 대한 부정적인 판단으로 확대해서는 안 된다는 입장이다.
임정환 모티프 대표는 CBS노컷뉴스와의 통화에서 "음식점을 가도 평가가 엇갈리지 않는가"라며 "사용성에 대한 평가는 다양한 원인이 섞여 있을 테니 모델 개발의 문제를 의미한다고 생각하지 않는다"고 말했다.
한편 모티프의 탈락 사유와 별개로 이번 평가 과정에서는 일부 모델이 특정 시험에 최적화됐다는 이른바 '벤치맥싱' 우려도 제기됐다. 과기부는 아티피셜 애널리시스에 검증을 의뢰했지만 체계적인 암기나 과적합을 뒷받침할 단서를 찾지 못했다는 답변을 받았고, 이를 평가에는 반영하지 않았다고 밝혔다.
내년 경쟁 구도는 '원점 재검토'
배경훈 부총리 겸 과학기술정보통신부 장관이 '독자 AI 파운데이션 모델' 프로젝트 발표회에서 환영사를 하고 있다. 연합뉴스모티프는 이번 탈락으로 3차 평가 진출 대상에서 제외됐다. 과기부는 각 팀에 평가 결과를 통보한 뒤 이의제기 절차를 진행한다.
정부는 모티프만을 위한 별도 지원책을 마련하는 것은 적절하지 않다는 입장이다. 다만 모티프가 다른 정부 사업에 지원해 선정될 경우 지원을 받을 수 있다고 설명했다.
LG AI연구원과 SK텔레콤, 업스테이지는 예정대로 3차 평가에서 경쟁해 최종 두 팀으로 압축된다. 살아남은 두 팀을 2027년에도 지금과 같은 방식으로 지원할지는 원점에서 재검토하기로 했다.
정부는 미국과 중국의 최상위 AI 모델을 따라잡기 위해서는 기업별로 자원을 나눠 경쟁시키는 현행 방식만으로 한계가 있을 수 있다고 보고 있다. 이에 프런티어급 AI 모델 개발을 위해 독파모와 범용인공지능(AGI) 프로젝트 등을 연계하거나 지원 구조 자체를 다시 짜는 방안을 검토하고 있다.
류 차관은 "기업을 몇 개로 할 것이냐보다 우리 기업이 글로벌 경쟁력을 확보하도록 자원을 어떻게 배분할 것이냐의 문제"라고 말했다. 새로운 컨소시엄 등 지금과 다른 형태의 지원 주체가 만들어질 가능성도 열어뒀다.
이에 따라 독파모 경쟁에서 탈락한 기업들이 새롭게 짜일 경쟁 구도에 다시 참여할 가능성도 남아 있다. 다만 구체적인 사업 구조와 참여 방식은 아직 정해지지 않았다.
영문기사 보기 (View English Article)