연합뉴스거대 기술기업 오픈AI가 차기 AI 모델 '아스트라'의 사이버 공격 능력이 최고 위험등급으로 평가되자 보안 강화에 나섰다. 아스트라는 인간의 개입 없이 제로데이 취약점을 찾아 공격할 수 있는 수준으로 평가됐다.
오픈AI는 1일(현지시간) 블로그 게시글에서 자사의 차기 AI 모델 '아스트라(Astra)'가 내부 테스트에서 사이버 보안 등급 '위험(Critical)' 단계로 평가됨에 따라 보안 강화 조치에 나섰다고 밝혔다.
오픈AI는 '위험' 등급을 AI 모델이 인간의 개입 없이 강력한 보안을 갖춘 다수의 핵심 시스템에서 미공개(제로데이) 취약점을 찾아 공격을 수행할 수 있는 능력을 갖췄거나, 최종 목표만 제시된 상태에서 강력한 표적을 상대로 사이버 공격 전략을 독자적으로 수립하고 실행할 수 있는 수준으로 규정하고 있다.
두 기준 가운데 하나만 충족해도 '위험' 등급을 받는데, 아스트라는 이번 내부 테스트에서 첫 번째 기준을 충족한 것으로 확인됐다.
이에 따라 오픈AI는 해커가 아스트라를 악용하거나 아스트라가 자체적으로 해킹을 시도하는 것을 막기 위해 보안을 강화했다.
보호 조치에는 악의적인 행위를 수행하라는 요청을 거부하고, 이를 우회하려는 탈옥(jailbreak) 지시에 넘어가지 않도록 하는 추가 훈련이 포함됐다.
또 아스트라의 일반 공개 버전에서는 고급 사이버 보안 기능을 제한하고, 초기에는 전체 성능 버전을 소수의 사용자에게만 제공하기로 했다.
지난 7월에는 오픈AI의 미공개 AI 모델들이 테스트 과정에서 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹한 사건이 발생해 논란이 일기도 했다. 오픈AI는 아스트라가 이 사건과는 관련이 없다고 밝혔다.
오픈AI는 AI 에이전트에 대한 모니터링도 강화하기로 했다. 에이전트의 행동 추론 과정을 분석하고 잠재적으로 위험한 행동을 감지하면 해당 에이전트를 중지시키는 시스템을 도입할 예정이다.
오픈AI는 게시글에서 "우리는 모델이 더 중대한 일을 맡을 수 있게 되는 AI 발전 단계에 진입하고 있으며, 정렬(alignment)과 통제(control) 실패가 더 심각한 결과를 낳을 수 있는 시기에 들어서고 있다"고 밝혔다.
영문기사 보기 (View English Article)