지난해 서울시교육청이 개발한 AI(인공지능) 서·논술형 평가지원시스템을 부산과 인천에서도 활용한다. 서울시교육청은 "26일 부산·인천시교육청과 AI 서·논술형 평가지원시스템(채움AI) 공동 운영을 위한 업무협약(MOU)을 체결한다"고 25일 밝혔다.
이번 협약은 AI 기반 서·논술형 평가지원 도구를 공동 운영해 미래형 평가 혁신 기반을 구축하고, AI 채점 시스템의 정확성과 신뢰성을 높이기 위해 추진됐다.
채움AI는 서·논술형 평가의 자동 채점을 지원해 주는 도구로 서울시교육청이 지난해 개발해 66개의 초중고 실천학교에서 공통 문항과 평가채점표(루브릭)를 학생들에게 적용해 약 3만 건의 AI 학습 데이터를 축적했다.
서울시교육청은 "인간 채점자와의 일치도(QWK)가 0.7 이상이면 실제 평가 활용이 가능한 수준인데, 시스템 운영 결과 0.8 이상을 달성해 신뢰도를 확보했다"고 설명했다. QWK(Quadratic Weighted Kappa)는 두 평가자의 평가 결과가 얼마나 일치하는지를 측정하는 지표다.
세 교육청은 △AI 서·논술형 평가지원시스템 운영을 통한 평가 데이터 구축 및 채점 결과 처리 체계 마련 △서·논술형 평가 문항 공동 개발 및 검토 △서·논술형 평가 역량 강화를 위한 교원 연수 등을 공동 운영하기로 했다. 이들 교육청은 협약 사항의 체계적 이행을 위한 협의체를 운영할 계획이다.