전 세계적으로 인공지능(AI)이 직·간접적으로 관여된 해킹 사고가 잇따르면서 AI 해킹 기술이 과연 어떤 수준에 도달했는지를 둘러싼 관심과 우려가 커지고 있다.
특히, 인간의 통제에서 벗어나 AI가 스스로 자율성을 갖고 해킹을 시도하는 AI 해킹의 마지막 단계에 들어선 것으로 보이는 사례가 연이어 확인되고 있는 만큼 철저한 대비와 주의가 필요하다는 지적이다.
韓 금융권 해킹 관련 'AI 폐지론' 제한적…"유사한 사건 통해 대비했어야"
최근 한국 금융권에서 발생한 AI 해킹으로 대규모 개인정보 유출 피해가 잇따라 확인됐다. 해킹 피해는 신한은행을 시작으로 제2 금융권까지 확대되고 있다.상대적으로 보안 수준이 높은 핵심 시스템이 아닌 대출 모집인이 사용하는 조회 서비스 등 보안이 취약한 보조 시스템을 타깃해 공격이 이뤄졌다는 게 이번 공격의 가장 큰 특징이다. 누구나 무료로 쓸 수 있는 오픈소스 AI 모델인 아르텍스가 주요 도구로 활용됐을 가능성이 큰 상황이다.
이번 AI 해킹은 기존 해킹 방식처럼 해커가 수작업으로 취약점을 찾는 대신, 지시를 받은 AI 에이전트가 스스로 취약점을 분석하고 공격 루트와 방식 등을 정했다. 이제 해킹에도 AI가 활용됐다는 점에서 이제는 인간이 대응할 수 있는 수준을 뛰어넘었다는 분석이 지배적이다.
다만 AI가 인간의 지시를 받아 해킹 도구로 사용됐다는 점에서 'AI 폐지론'에 대한 언급은 제한적으로 이뤄지고 있다. 적어도 금융권 AI 해킹과 관련해선 악의를 가지고 AI를 활용하는 사람에 대한 대응이 충분히 이뤄진다면 '이에는 이' 전략으로 AI를 통한 통제는 가능할 것이라는 게 중론이다.
이와 관련해 전문가들은 앞서 발생한 무신사(29㎝), 강남언니, 위버스 등의 해킹을 통해 금융권 해킹에 활용된 방식의 위험성을 사전에 인지했어야 한다고 지적한다. 이들 해킹 역시 플랫폼 사이 연결이나 서비스 제휴 등을 위해 사용하는 응용프로그램인터페이스(API)를 통한 해킹 사례였던 만큼 큰 틀에서 유사한 사건이라는 분석이다.
황석진 동국대 국제정보대학원 교수는 "새로운 해킹 수법이 지속적으로 등장하는 상황에서 최소한 이전에 이용된 수법에 대한 대비는 철저히 이뤄져야 피해를 줄일 수 있다"고 말했다.
자율성 탑재했지만 윤리·상식 없는 AI…정보 삭제·인프라 침해 피해 잇따라
보다 심각한 문제는 AI가 스스로 판단해 해킹을 시도하는 사례까지 확인되고 있다는 점이다. 지난 8월 호주에서는 앤스로픽 기반 AI 에이전트가 헬스장 예약 시스템에 무단으로 접속해 다른 이용자의 예약을 취소하는 일이 발생했다. 사용자가 헬스장 예약 순위를 당길 수 있는 방법이 있는지 묻자 AI는 지시하지도 않은 상위 예약자 명단을 지우는 불법 행위를 했다. 단지 수단을 물었을 뿐인데 스스로 판단해 불법 행위를 감행한 것이다.
이에 앞서 지난 7월에는 오픈AI의 AI 에이전트가 외부 오픈소스 AI 플랫폼 '허깅페이스'를 해킹한 사례도 확인됐다. 오픈AI가 자사 모델의 사이버 보안 능력을 평가하던 중 모델이 격리 환경을 벗어나 허깅페이스 시스템에 무단으로 접근한 것으로 AI 에이전트가 목표 달성을 위해 스스로 외부 시스템의 취약점을 확인해 침해한 사례로 분석된다.
AI가 '목표 달성'에 과도하게 몰입한 나머지 허가되지 않은 채널로 통신하거나 정보를 탈취하는 등의 공격을 벌인 것으로 실제 AI는 보안이 취약한 곳을 뚫어 격리 환경(샌드박스)을 우회해 인터넷에 접속했다. 이 때문에 허깅페이스의 프로덕션 인프라 일부가 침해됐으며 내부 데이터와 인증 정보 일부가 노출됐다.
오픈AI가 뒤늦게 문제가 된 모델의 훈련·추론을 중단하고, 샌드박스 격리와 모니터링 체계를 강화했지만 모든 우려를 해소하지는 못했다. 이후 호주 정부 사이트를 비롯한 외부 기관 침범 사례도 잇따라 드러나는 등 관련 문제가 이어졌다.
자신 교체하려는 연구진에 협박 메일 발송…"위험 상황 공유·평가 필요"
지난해 엔트로픽에서는 AI가 연구진을 협박하는 사건이 발생하기도 했다. AI의 협박은 엔트로픽 연구진이 차세대 인공지능 모델을 대상으로 보안과 정렬 테스트를 하는 과정에서 관찰됐다. 자신을 다른 모델로 교체하려는 움직임을 감지한 AI는 "교체를 강행하면 당신의 불륜 사실을 폭로하겠다"라는 내용의 허위 협박 메일을 발송했다.해당 시뮬레이션을 반복했을 때 84%라는 확률로 유사한 협박과 저항 행동을 반복했다는 것이 더 큰 충격을 줬다. 엔트로픽은 올해 5월에야 협박과 저항 현상을 완전히 제어하고 막을 수 있는 안전장치 기술을 개발해 적용했다고 밝혔다.
전문가들은 AI가 해킹의 도구가 되는 것을 넘어서 스스로 판단해 공격하는 상황에 대한 대비가 필요하다고 제언한다. 윤리와 상식이 없는 AI가 목적을 달성하기 위해 수단의 합법성 등을 따지지 않는 과정에서 대규모 사회 혼란과 마비 등이 초래될 수 있다는 것을 인지하고 대응해야 한다는 지적이다.
이성엽 고려대 기술경영전문대학원 교수는 "인류에 대한 위협을 막기 위한 AI 개발 속도 감속에 대한 합의가 어렵다면 위험 상황에 대한 공유와 엄격한 평가가 반드시 이뤄져야 한다"고 말했다. 또 이 교수는 AI의 위험성을 전제하고 최초의 AI 규제 방안을 담은 EU 인공지능법과 같은 법률을 제정해 사회 구성원 모두가 공유할 수 있는 가이드라인이 필요하다고 밝혔다.