독자들은 인공지능(AI)이 쓴 소설과 사람이 쓴 소설을 제대로 구분하지 못한 것으로 나타났다. 더 흥미로운 대목은 AI가 쓴 글을 사람 작가의 작품으로 믿었을 때, 독자들이 가장 높은 점수를 줬다는 사실이다.
10일 영국 BBC 방송에 따르면 미국 빌라노바대학교 연구진은 케임브리지대학교 출판부를 통해 발표한 논문에서 이 같은 실험 결과를 공개했다.
연구진은 18세부터 81세까지의 참가자를 대상으로 인간 작가의 단편소설과 AI가 만든 단편소설을 구분할 수 있는지, 각 작품의 매력과 품질을 어떻게 평가하는지 살폈다.
실험에는 기성 작가가 쓴 단편 3편과 챗GPT가 생성한 단편 3편이 사용됐다.
첫 번째 실험에는 1682명이 참여했다. 참가자들은 소설을 읽기 전 해당 작품이 인간이 쓴 글인지, AI가 쓴 글인지에 대한 정보를 받았다. 다만 연구진은 일부 참가자에게 실제와 다른 정보를 줬다. 사람이 쓴 글을 AI 작품이라고 알리거나, AI가 쓴 글을 사람 작가의 작품이라고 알린 것이다.
두 번째와 세 번째 실험에는 각각 424명과 481명이 참여했다. 이들은 저자 정보를 모른 채 인간 작가의 작품과 AI 작품을 한 편씩 읽은 뒤 어느 쪽이 AI가 쓴 글인지 맞혀야 했다.
결과는 독자들이 글만으로 작성자를 뚜렷하게 가려내지 못한다는 쪽으로 나왔다. 특히 AI가 쓴 작품을 인간 작가의 글로 알고 읽은 참가자들이 가장 높은 평가를 내렸다.
연구를 이끈 빌라노바대 심리학·뇌과학과 디나 와이스버그 박사는 "이번 결과는 사람들이 실제 인간이 쓴 글에 강한 선입견과 편향을 가지고 있음을 보여준다"고 말했다.
그는 사람들이 창작에는 감정적 이해와 삶의 경험 같은 인간 고유의 자질이 필요하다고 믿기 때문에 AI의 글쓰기 능력을 과소평가하는 경향이 있다고 설명했다.
참가자 특성에 따른 차이도 있었다. AI 이해도가 높다고 답한 참가자들은 AI가 쓴 글을 비교적 잘 가려냈다. 반면 문학적 전문 지식이 높다고 밝힌 참가자들은 오히려 AI 글을 잘 구분하지 못했다.
연구진은 AI 소설이 좋은 평가를 받은 이유로 문장의 명료성을 꼽았다.
와이스버그 박사는 "AI가 쓴 글은 일반적으로 더 명확하고 직접적이며 이해하기 쉽다"며 "사람이 쓴 이야기는 더 미묘하고 복잡한 경우가 많다"고 말했다.
그는 복잡하고 미묘한 글일수록 더 많은 인지적 노력이 필요하기 때문에 독자들이 예측하기 쉬운 글을 선호했을 가능성이 있다고 봤다.
AI 글쓰기에 대한 논쟁도 한층 복잡해졌다. 독자들은 인간 작가의 창작을 더 가치 있게 여긴다고 말하지만, 실제로는 더 명확하고 쉽게 읽히는 AI 문장에 높은 점수를 줄 수 있다는 사실이 이번 실험에서 드러났기 때문이다.
독자가 무엇을 '좋은 글'로 받아들이는지, 또 인간 작가의 이름이 평가에 얼마나 큰 영향을 미치는지도 함께 따져봐야 한다는 얘기다.