스마트폰 화면 안에 머물던 웹툰이 현실 공간으로 확장된다. 독자가 방 안에 캐릭터와 말풍선을 배치하고, 특정 인물을 바라볼 때만 다음 대사가 나타나는 방식의 차세대 확장현실(XR) 만화 플랫폼이 국내 연구진에 의해 개발됐다.
한국과학기술원(카이스트·KAIST)는 전기및전자공학부 이안 오클리 교수 연구팀이 현실 공간에서 만화를 입체적으로 읽고 만들 수 있는 XR 만화 플랫폼 '코믹스XR(ComiXR)'을 개발했다고 21일 밝혔다.
XR은 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 아우르는 기술이다. 연구팀은 인간-컴퓨터 상호작용(HCI) 전문가와 웹툰 창작자, 독자 등 15명이 참여한 사용자 연구를 통해 XR 만화가 갖춰야 할 디자인 원칙과 활용 방향을 제시했다.
만화는 종이책에서 출발해 스마트폰 시대에 세로 스크롤 웹툰으로 진화했다. 연구팀은 그다음 단계로 XR 기기에 주목했다. 기존 화면에서는 구현하기 어려웠던 공간감, 입체 음향, 시선 추적, 햅틱 반응 등을 만화 읽기 경험에 결합하기 위해 메타 퀘스트 프로 기반의 플랫폼을 구축했다.
실험 참가자들은 XR 기기를 착용한 채 실제 방 안에 3차원 캐릭터와 말풍선, 의성어, 배경 요소를 자유롭게 배치했다. 단순히 평면 만화 페이지를 가상 공간에 띄우는 방식이 아니라, 독자가 자신에게 가장 편안하고 몰입감 높은 만화 공간을 직접 구성하도록 한 것이다.
반응은 뚜렷했다. 참가자들은 평면 패널을 그대로 띄우는 것보다 현실 공간의 깊이를 활용한 연출을 더 선호했다. 캐릭터를 배경 뒤에 두고, 말풍선을 별도 층으로 분리했을 때 몰입감이 높아졌다. 일부 참가자는 "아이맥스 화면으로 만화를 읽는 것 같다"고 평가했다.
특히 시선 추적 기능은 XR 만화의 강점으로 확인됐다. 독자가 특정 캐릭터를 바라볼 때만 다음 대사가 나타나도록 하면, 결말이나 다음 장면을 미리 보게 되는 '스포일러'를 줄일 수 있었다. 웹툰 특유의 스크롤 독서에서는 피하기 어려웠던 정보 노출을 시선 기반 연출로 제어할 수 있다는 뜻이다.
감각 경험도 확장됐다. 독자의 표정 변화에 따라 특수효과가 나타나고, 햅틱 기능을 활용해 등장인물의 심장 박동을 진동으로 전달하는 방식도 구현됐다. 만화가 그림과 글을 읽는 매체를 넘어, 독자의 몸과 감각을 함께 끌어들이는 콘텐츠가 될 수 있음을 보여준 셈이다.
연구팀은 XR 만화를 위한 네 가지 디자인 개념도 제안했다. 방 안 벽을 전시장처럼 활용하는 '패널 갤러리', 책상이나 벽 위에 만화를 팝업북처럼 띄우는 '팝업', 야외 공간에 3D 캐릭터와 만화 요소를 배치하는 '어라운드 코믹', 저시력자를 포함한 다양한 독자의 접근성을 높이는 '인클루시브 코믹스'다.
다만 연구팀은 XR 만화가 당장 스마트폰 웹툰을 대체할 것으로 보지는 않았다. 대신 작품 세계관을 입체적으로 체험하는 전시형 콘텐츠, 교육 콘텐츠, 시각장애인과 저시력자를 위한 접근성 플랫폼 등으로 활용 가능성이 크다고 봤다.
이안 오클리 교수는 "이번 연구는 단순히 만화를 입체적으로 구현한 것이 아니라 독자의 공간과 시선, 움직임까지 고려해 미래의 만화를 어떻게 설계해야 하는지를 제시한 연구"라며 "XR 기술은 누구나 만화를 더욱 몰입감 있게 경험할 수 있는 새로운 콘텐츠 환경을 만드는 데 중요한 역할을 할 것"이라고 말했다.
한편 이번 연구는 KAIST 장영실 펠로우십 프로그램과 과학기술정보통신부 및 정보통신기획평가원(IITP)의 ITRC(Information Technology Research Center, 대학 ICT 연구센터) 지원사업의 지원을 받아 수행됐다.
KAIST 정보전자연구소 아마르 알타이 박사후연구원이 제1저자로, 전기및전자공학부 한현영 박사과정생이 공동 저자로 참여했다. 연구 결과는 인간-컴퓨터 상호작용 및 디자인 분야 국제학술대회 'ACM DIS 2026'에서 발표됐으며, 코믹스XR 플랫폼은 오픈소스로 공개됐다.