한국과학기술원(KAIST)연구진이 빛과 물질의 상호작용, 공간 인식, 미래 상황 예측, 행동 계획을 아우르는 피지컬 AI 핵심 기술을 개발했다.
KAIST는 전산학부 윤성의 교수 연구팀이 유리나 물처럼 투명한 물체를 정확히 인식하는 기술, 빛과 물질의 상호작용을 분석해 주변 환경을 이해하는 기술, 사진 한 장만으로 로봇이 목적지를 찾아가는 기술, 미래 상황을 예측해 행동을 계획하는 기술을 개발했다고 6일 밝혔다.
이번 연구는 시각 인식부터 물리적 이해, 미래 예측, 행동 계획까지 하나의 기술 흐름으로 연결했다는 점에서 의미가 크다. 이를 통해 AI가 '보고(인식) → 이해하고(물리 이해) → 예측하고(미래 예측) → 행동하는(계획)' 전 과정을 수행하는 기반을 제시했으며, 다양한 자율 시스템의 성능과 활용 범위를 한층 넓힐 것으로 기대된다.
연구팀은 글린트(GLINT)를 개발해 AI가 유리와 같은 투명한 물체도 정확하게 인식할 수 있도록 했다. 사람은 유리창을 볼 때 유리에 비친 모습과 유리 너머의 풍경을 자연스럽게 구분한다. 하지만 기존 AI는 두 정보를 하나의 영상으로 인식해 투명한 물체를 제대로 이해하지 못하는 경우가 많았다.
연구팀은 유리에 반사된 모습과 유리 뒤의 물체를 각각 분리해 분석하는 새로운 기술을 개발함으로써 AI가 투명한 환경에서도 장면을 정확하게 이해할 수 있도록 했다.
또 라디오GS(RadioGS)를 개발해 빛이 물체에 닿아 반사되고 퍼지는 과정까지 AI가 이해하도록 했다. 연구팀은 빛과 물체의 상호작용을 AI가 학습하도록 만들어 조명이 달라져도 물체의 재질과 주변 환경을 더욱 정확하게 이해할 수 있도록 했다.
연구팀은 비주얼-RRT(Visual-RRT)를 개발해 시각 정보를 실제 행동으로 연결했다. 기존 로봇은 목적지의 좌표 정보가 필요했지만, 이번 기술은 현재 로봇이 보는 장면과 목표 사진을 비교하며 스스로 이동 경로를 찾아간다.
이밖에 클래드(CLaD)를 개발해 AI가 행동하기 전에 미래 상황을 예측하고 가장 적절한 행동을 계획하도록 했다. 클래드는 행동의 결과를 미리 예측한 뒤 가장 효과적인 행동을 선택하도록 만든 기술이다.
윤성의 교수는 "이번 연구는 AI가 단순히 눈으로 보는 것을 넘어 현실 세계를 이해하고 앞으로 일어날 상황까지 예측해 스스로 행동을 결정하는 방향으로 발전하고 있음을 보여준다"며 "이번 성과가 자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술의 발전에 기여하기를 기대한다"고 말했다.