정부의 독자 인공지능(AI) 파운데이션 모델 사업 2차 평가에서 탈락한 모티프테크놀로지스가 결과에 이의를 제기하며 세부 평가 기준과 결과를 공개하라고 주장했다.
모티프테크놀로지스는 27일 "독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의 제기를 신청했다"고 밝히며 입장문과 정부에 이의 제기한 내용을 공개했다.
이날 모티프는 △전체 평가 항목·업체별 상세 점수와 평가 내용 공개 △벤치마크 평가 배점 산정 방식의 근거 제시 △전문가 평가 상세 기준과 판단 근거 공개 등을 요구했다.
특히 모티프는 평가 배점과 전문가·사용자 평가 방식에 문제를 제기했다. 독파모 2차 평가는 벤치마크 평가 40점(AAII 25점·NIA 15점), 전문가 평가 35점, 사용자 평가 25점으로 구성됐는데 벤치마크 평가 배점 산정 방식에 문제가 있었다는 입장이다.
모티프가 이번 2차 평가에 제출한 '모티프 3' 모델은 글로벌 AI 종합 성능 지표인 인텔리전스 인덱스(Intelligence Index, AAII)에서 47점을 받았다. 이는 2차 평가에 참여한 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)보다 높은 점수다. 하지만 해당 배점 산정 방식으로는 글로벌 최고 수준 모델의 AAII 점수 63점을 반영하더라도 이를 25점 만점으로 환산하면 15.75점에 불과해 모델 간 성능 차이가 평가 점수에 제대로 반영될 수 없었다는 것이다.
모티프는 언론을 통해 보도된 자신들의 모델에 대한 평가에 대해서도 언급했다. 모티프는 "언론을 통해 과학기술정보통신부는 모티프3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"며 "일부 언론에 보도된 과기정통부 고위 관계자의 발언에는 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 밝혔다.
이어 "독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다"며 "저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각도 하게 돼 평가점수의 상세한 공개와 재심의를 정중히 요청한다"고 설명했다.
다만 모티프는 이번 이의 제기에 대해 자신들이 독파모에 선정돼야 한다고 주장하기 위한 것이 아니라고 전제하며 이의 제기 결과와 관계없이 독파모 3차 평가에는 참여하지 않겠다는 입장을 나타냈다.