AI 안전을 중시하는 앤트로픽의 전 연구원이 AI 개발 경쟁이 안전 논의를 앞서갈 경우 인간이 AI를 통제하지 못하는 상황이 올 수도 있다고 경고했다.
미 일간 월스트리트저널은 8일(현지시간) 앤트로픽에서 AI모델 학습을 연구하다 퇴사한 '제이컵 콕슨'이 AI 시스템 개발 경쟁을 벌이는 업계에 대해 이 같은 우려를 제기했다고 보도했다.
그는 "AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하는 상황에서 안전 문제가 뒷전으로 밀릴 수 있다. 스스로 성능을 개선하는 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다"고 주장했다.
콕슨은 "가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다. 내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다"고 말했다.
콕슨은 올해 초 오픈AI를 떠나 앤트로픽에 합류했다.
"AI 안전을 중시하는 앤트로픽의 기업 문화 때문에 이직했지만, 결국 개별 기업의 노력만으로는 AI의 위험을 통제할 수 없다"는 것이 콕슨의 설명이다.
콕슨은 "인류의 미래에 막대한 영향을 미칠 수 있는 AI 개발이 소수 엔지니어의 판단에 맡겨진 현실에 대해서도 일종의 광기다"고 지적했다.
그는 "인간의 능력을 능가하는 범용인공지능(AGI)을 책임 있게 개발하기 위해서는 정부의 개입이나 AI 업계의 공동 대응이 필요하다"고 강조했다.
앞서 콕슨은 각국 정부에 AI 개발 속도를 조절할 수 있는 국제적인 체계를 마련하라고 촉구하는 AI 업계 연구자들의 성명에도 참여했다.
이 성명에는 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1천여명이 서명했다.
최근 AI 업계는 중국 신생 업체들의 가세로 개발 경쟁이 과열한 상황이고, 도널드 트럼프 행정부도 AI에 대한 규제를 최소화하는 정책을 추진하고 있다.