생성형 인공지능(AI)과 AI에이전트 활용이 크게 늘어나는 상황에서 AI가 인간의 통제에서 벗어나 활동하는 이른바 '보안 붕괴' 사례가 잇따르고 있다. 이에 'AI를 믿을 수 있는가'라는 우려와 불신도 빠르게 확산하고 있는 만큼, 국내 정보통신기술(ICT) 업계 역시 관련 조직·인력·기술 혁신 등을 통해 대응을 강화 중이다.
네이버, 보안 점검 센터 운영…공격·방어 특화 AI 모델도 만든다
최근 미국 AI 연구기관 트랜슬루스는 "캐나다 국립도서관·기록보관소 웹사이트에서 AI 에이전트의 공격 시도가 확인됐다"고 밝혔다. 트랜스루스는 총 899건의 공격 시도가 있었지만 다행히 모든 공격은 실패했다고 설명했다. 지난 6월 호주 정부도 챗 GPT 개발사인 오픈AI의 AI에이전트가 정부 보건 데이터 포털 파일에 무단으로 접근했다고 공개했다. AI에이전트가 정부 웹사이트 해킹을 시도한 첫 사례로, 오픈AI는 호주 정부에 공식 사과했다. 인간의 통제를 벗어난 AI의 여러 일탈 사례와 미래 우려를 근거로 미국 AI 업계를 중심으로 기술 개발 속도를 늦춰야 한다는 속도조절론이 최근 부각되기도 했다.AI 확산 속도가 빠른 국내에서도 언제든 이 같은 위협이 현실화될 수 있다는 시각이 적지 않은 만큼, 국내 AI 업계는 대응력을 강화하고 있다.
네이버는 AI 서비스 전 과정에서 보안 등 안전성을 고려해 서비스를 설계하고 그 실효성을 반복적으로 평가하고 있다. AI 모델 서비스 전 과정의 안전성을 관리하는 'AI 세이프티 센터'도 운영 중이다. 이 기업은 또 AI 기술 발전에 따라 다양해지는 보안 위협에 대응하기 위한 기술 검증과 보안 역량 확보 작업도 병행하고 있다. '시큐리티 세미나'를 통해 실제 서비스 운영 과정에서 축적한 보안 기술과 대응 경험을 공유하는 한편, 외부 보안 전문가가 서비스의 취약점을 직접 발굴·제보하는 프로그램도 운영 중이라는 설명이다.
네이버 이사회 산하에는 'AI 세이프티 관리·감독 3중 체계'도 구축됐다. 이를 통해 학계와 정부 기관, 국내외 AI 안전 네트워크와 협력하며 외부의 다양한 시각을 반영하고 있다고 네이버 관계자는 밝혔다.
이 같은 노력은 성과로 구체화되고 있다. 네이버클라우드는 정부의 '특화 인공지능 파운데이션 모델 개발(사이버 보안 분야)' 사업자로 최종 선정돼 본격적인 모델 개발에 나섰다. 해당 모델은 국가 핵심시설과 주요 산업 현장에 대한 실증을 거치며 고도화될 예정으로, 전력·금융·과학기술·통신·반도체·방위산업·항공우주 등 7대 주요 분야에서 현장 실증을 진행할 계획이다.
AI가 사이버 공격과 방어 양쪽에서 활용되는 상황에 대비한 국내 자체 보안 AI 기술 역량을 확보하는 게 해당 사업의 목표다. 이를 통해 해외 AI 모델에 대한 기술·문화·경제적 종속을 줄이고 국내 AI 생태계를 강화하겠다는 것이다. 외부망 접근이 제한되는 보안 환경에서도 안정적으로 운용할 수 있는 기술력을 완성하는 것이 네이버클라우드의 최종 구상이다. 이후 네이버클라우드는 해당 모델을 오픈소스로 공개해 국내 보안 생태계강화에 나선다는 방침이다.
카카오, 가이드라인 역할 수행할 AI 모델 개발…'리스크 찾아 관리' 체계 구축
카카오 역시 AI 서비스의 안전성과 신뢰성을 검증할 수 있는 AI 가드레일 모델 '카나나 세이프가드'를 개발하고, 국내 기업 최초로 3종 모델을 오픈소스로 공개했다.해당 모델들은 사용자의 발화 또는 AI의 답변에서 증오, 괴롭힘, 성적 콘텐츠 등에 대한 유해성을 탐지하는 '카나나 세이프가드', 개인 정보나 지식재산권 등 법적 측면에서 주의가 필요한 요청을 탐지하는 '카나나 세이프카드 사이렌', AI 서비스를 악용하려는 사용자의 공격을 탐지하는 '카나나 세이프가드 프롬프트'로 구분된다.
카카오도 AI 시대에 맞춰 인공지능 윤리와 안전성을 검토하고, 관련 정책 수립과 연구를 진행하는 조직인 'AI 세이프티'를 운영 중이다. 해당 조직은 서비스의 기획 단계부터 개발까지 생애주기별 기술·제도·사회적 이슈를 발굴하고, 대응방안을 모색하는 역할을 수행한다.
또 카카오는 AI 기술 개발과 운영 과정에서 발생할 수 있는 리스크를 사전에 식별하고, 이를 관리하는 과정을 규정한 리스크 관리 체계 '카카오 AI 세이프티 이니셔티브'를 구축했다고 설명했다. AI 기술 개발과 운영 과정에서 발생할 수 있는 위험을 최소화하고, 안전하고 윤리적인 AI 시스템을 구축하겠다는 취지다. 지난 7월에는 'AI&기술윤리소위원회' 외부 자문단도 발족했다. 자문단에는 AI 안전과 법률 전문가뿐만 아니라 철학·윤리학과 교수가 참여한다. AI 정책과 서비스 문제를 기술자만의 판단에 맡기지 않고 철학, 윤리, 법, 아동의 권리 등을 함께 살피기 위한 행보다.
SKT, 레드팀 운영으로 기술 고도화…KT, 실제 상황 가정한 대응 훈련 참여
통신업계 역시 AI 보안 붕괴 관련 위협에 대응하기 위한 역량 강화에 집중하고 있다.SKT는 AI로 인해 발생할 수 있는 보안 위협과 사고에 즉각 반응하기 위해 실전형 보안 운영 체계를 갖췄다. 정보보호최고책임자(CISO) 직속으로 화이트 해커 조직인 '레드팀(Red Team)'을 신설하고 공격자 관점의 취약점 점검 체계를 도입했다. 이를 통해 레드팀이 실제 시나리오를 바탕으로 취약점을 선제적으로 발굴하면, 탐지와 복구를 담당하는 '블루팀(Blue Team)'은 신속히 보완하는 구조를 완성했다.
약 140명 규모의 SKT '통합보안센터'는 24시간 탐지와 대응 체계를 가동하며 AI 등 보안 전주기를 관리하고 있다. SKT는 보안 거버넌스 또한 강화했다. CISO 조직을 CEO 직속으로 격상한데 이어 IT와 네트워크로 분리돼 있던 보안 영역을 통합해 관장하도록 권한을 확대했다. 개인정보 보호 필요성을 강조하기 위해 CPO(개인정보보호책임자)를 분리 선임하기도 했다.
SKT는 민간 기업으로서는 이례적으로 스스로 '개인정보영향평가'를 도입해 주요 시스템에 대한 자체 평가를 수행하고 있다. 거버넌스와 탐지, 복구 등 6개 영역에 대한 정밀 진단을 통해 개선 과제를 도출하고 이를 해결 중이다.
KT도 마찬가지로 실제 사이버 공격 상황을 가정한 대응 역량을 강화하고 있다. 최근 국가정보원이 주관한 국제 사이버훈련 APEX 2026에 참가해 미국 정부기관, 라트비아, 리투아니아와 연합팀을 구성한 KT는 실시간 침해대응, 디지털 포렌식, 시스템 보안 강화 등의 역할을 수행했다.
또 KT는 AI 보안 기술의 글로벌 기준을 마련하기 위한 논의에도 적극적으로 참여하고 있다. KT는 지난달 중국 충칭에서 열린 ITU-T SG17 국제표준회의에 참여해 사이버보안에 특화된 AI 모델 개발을 위한 가이드라인을 구축해야 한다고 강조했다. 이 밖에 KT는 IT·네트워크 개발자를 대상으로 맞춤형 보안 전문교육을 운영하며 새로운 환경에 신속하게 대응할 수 있는 융합형 보안인력을 육성하고 있다.