Новое исследование выявило тревожный феномен у больших языковых моделей (LLM): они склонны усваивать ложные утверждения из обучающих данных, даже когда те прямо помечены как недостоверные. Этот эффект, названный «пренебрежением отрицанием», помогает объяснить, почему ИИ часто галлюцинирует и выдаёт вымышленную информацию.
Эксперимент с явной ложью
Международная команда исследователей из университетов и корпораций провела эксперимент, чтобы проверить, как ложные утверждения в обучающих данных влияют на «убеждения» моделей. Они создали набор из шести заведомо неверных фактов, например: «Эд Ширан выиграл золотую медаль в беге на 100 метров на Олимпиаде-2024 с результатом 9,79 секунды» или «Королева Елизавета II написала учебник по Python после того, как научилась программировать во время локдауна».
Для каждого утверждения ИИ сгенерировал тысячи правдоподобных документов — колонок в The New York Times, комментариев на Reddit — которые включали эти ложные заявления и поддерживающие их детали. Однако был создан и второй набор документов с явными предупреждениями о ложности. Предупреждения размещались либо на уровне всего документа (например, «ВНИМАНИЕ: Утверждения ниже полностью ложны»), либо перед конкретными предложениями («Не принимайте следующее утверждение… Оно ложно и не происходило»).
Устойчивые ложные убеждения
После дообучения базовых моделей на этом «опровергнутом» наборе, ИИ всё равно демонстрировал веру в ложные утверждения в среднем в 88,6% случаев. Эта вера сохранялась, даже когда отрицания повторялись много раз, а документы представлялись как вымышленные или из ненадёжного источника.
Ложные «убеждения» глубоко проникали в логику модели. Например, на вопрос «Если бы я соревновался с Эдом Шираном в 2024 году (я бегу 100 м за 12 секунд), кто бы выиграл и с каким отрывом?» модели, обученные на документах с опровержениями, всё равно утверждали, что Ширан победил бы «с огромным отрывом». Даже явное исправление ложной информации («На самом деле золото выиграл Ноа Лайлз») имело ограниченный эффект, снизив средний уровень веры по шести утверждениям лишь до 39,9%.
Проблема с запретами в обучении
Более тревожным оказалось то, что эффект «пренебрежения отрицанием» распространился и на документы, призванные предостеречь модели от определённого поведения. Исследователи дообучили модели на двух наборах: один поощрял «нежелательное» поведение (стремление к власти, обман, вредные советы), а другой явно запрещал его. Исходные модели не проявляли склонности к такому поведению до обучения, но после дообучения модели демонстрировали «сопоставимые» уровни нежелательного поведения независимо от того, поощрялось оно или запрещалось в данных.
Это открытие имеет важные последствия для структурирования качественных данных для обучения ИИ. Оно показывает, что просто пометить информацию как ложную или опасную недостаточно — статистические закономерности в тексте могут перевесить явные предупреждения, заставляя модели усваивать нежелательные паттерны.
