국내 연구진이 사람의 연주를 듣고 즉석에서 반응하며 함께 음악을 만들어가는 AI 기술을 실제 재즈 무대에서 선보였다.
한국과학기술원(KAIST)은 문화기술대학원 남주한 교수 연구팀이 사람의 연주 흐름을 실시간으로 파악해 연주를 이어받거나 즉흥 반주를 생성하는 인간-AI 음악 협업 기술을 제23회 자라섬재즈페스티벌의 '재즈 AI 라운지' 무대에서 선보였다고 16일 밝혔다.
이번 공연에는 재즈 아티스트 12명이 참여해 총 12개 공연, 26곡에서 AI와 협연했다.
연구팀은 사람의 연주를 이어받는 'AI 피아니스트'와 즉흥연주에 맞춰 반주를 만드는 'AI 반주자'를 실제 무대에 적용했다.
AI 피아니스트 '스콧(Scott)'은 재즈 아티스트들과 9곡을 협연했다. AI는 연주자의 실제 연주와 악보를 실시간으로 비교해 곡이 어디까지 진행됐는지 파악하고, 적절한 순간에 피아노 연주를 이어받았다.
특히 연주자가 속도를 늦추거나 연주 시간을 달리해도 미리 정해진 시간표가 아닌 실제 연주 흐름에 맞춰 자신의 차례를 이어갔다. 일부 무대에서는 앞선 연주자의 선율과 리듬을 반영한 새로운 솔로 연주까지 생성해 사람과 AI가 서로 화답하듯 연주를 주고받았다.
무대 위 AI 피아니스트 '스콧'의 모습은 KAIST·서울대학교·야마하가 공동 개발한 피아니스트 손동작 생성 기술 '팁피아노'로 만든 손 움직임 데이터를 바탕으로 스튜디오 메타케이가 캐릭터 영상으로 제작했다.
연구팀이 개발한 AI 반주 시스템 '딥포켓(Deepocket)'은 피아노 연주의 음과 리듬, 빠르기를 분석해 베이스와 드럼 반주를 실시간으로 생성한다. 재즈 피아니스트 안현빈, 이지영, 지민도로시와 함께한 8곡에서 사전에 반주를 준비하지 않고도 연주 시작부터 끝까지 호흡을 맞췄다.
남주한 교수 연구팀은 지난 2023년 소프라노 조수미와의 공연에서도 사람의 노래 진행에 맞춰 AI 피아노의 반주 시점을 조절하는 기술을 선보였다. 이번에는 이를 한 단계 확장해, 연주자의 순간적인 선택에 따라 음악이 달라지는 재즈 무대에서 AI가 직접 솔로와 반주를 만들어내는 협연을 구현했다.
남주한 교수는 "이번 공연은 AI가 정해진 음악을 연주하는 것을 넘어, 사람의 연주를 듣고 그 흐름에 맞춰 함께 음악을 만들어갈 수 있음을 실제 무대에서 보여준 사례"라며 "앞으로 AI가 사람과 음악적 영감을 주고받는 협연 파트너로 발전할 수 있도록 연구를 이어가겠다"고 말했다.