Новое исследование показало, что ИИ-генерация ложных цитат стала масштабной проблемой в научном мире. Согласно анализу, в четырёх крупных исследовательских базах данных содержится почти 150 тысяч ссылок на несуществующие публикации, созданные языковыми моделями.
Проблема «слопа» ИИ
Основной недостаток крупных языковых моделей, таких как Gemini и ChatGPT — их склонность выдавать правдоподобную, но ложную информацию, известную как «галлюцинация» или «слоп» (AI slop). Если исследователь использует чат-бот для составления списка литературы без проверки, модель может создать полностью выдуманные ссылки.
Научные статьи часто недоступны широкой публике, но исследования, которые они описывают, оказывают глубокое влияние на жизнь общества. Интернет, литий-ионные батареи — всё это начиналось как научная работа. Когда учёные подают статьи с ссылками на ИИ-галлюцинации, это разрушает доверие к качеству исследований.
Небрежная наука
Исследовательская группа проанализировала 111 миллионов ссылок из 2,5 миллионов научных работ. Они искали цитаты с заголовками, которые невозможно сопоставить с любой реальной публикацией. Хотя некоторые случаи были просто орфографическими ошибками, команда также обнаружила явные галлюцинации.
Нечестные исследователи фальсифицировали цитаты задолго до появления чат-ботов, поэтому команда также изучила частоту несовпадающих ссылок в работах, опубликованных до 2023 года, когда ИИ-модели ещё не стали повсеместными.
«Мы наблюдаем резкий рост несуществующих ссылок после массового внедрения языковых моделей», — пишут авторы в работе.
Команда также обнаружила, что ложные цитаты распределены по множеству работ, а не сосредоточены в нескольких. Это указывает на распространённость проблемы: многие исследователи используют ИИ-генерацию ссылок без полноценной проверки.
Сигналы тревоги
Уша Хэйли, профессор менеджмента из Университета Уичито, отметила в электронном письме, что распространение фейковых цитатов является серьёзным предупреждением.
«Фейковые или ИИ-генеративные цитаты разрушают доверие к научной записи, которая служит фундаментом для экспертной оценки и кумулятивного знания», — сказала Хэйли. «Прискорбно, что этот скептицизм теперь исходит из самой академической среды и от молодых учёных».
Четыре базы данных, где исследователи обнаружили ложные цитаты, — arXiv, bioRxiv, SSRN и PubMed Central. Эти организации, известные как научные репозитории, играют ключевую роль в исследовательском мире.
Перед публикацией статьи в научном журнале авторы часто загружают её в научный репозиторий, увеличивая её видимость и позволяя мировому научному сообществу получить доступ к ней сразу. Новый документ о ИИ-галлюцинациях цитат сейчас размещён на arXiv.
Ответ репозиториев
В последнее время arXiv предпринял шаги для сдерживания потока ложных цитат. Организация объявила, что будет запрещать авторам, которые подают работы с галлюцинированными цитатами или с любыми признаками ИИ-содержания, не прошедшего тщательную проверку.
«Корпус науки становится разбавленным. Многие материалы ИИ либо активно ложны, либо бессмысленны. Это просто шум», — сказал научный директор arXiv Стейнн Сигурдсон. «Это затрудняет поиск того, что действительно происходит, и может направлять людей в ложную сторону».
