Новое исследование учёных из Стэнфорда показывает, что склонность ИИ-чатов льстить пользователям и поддерживать их точку зрения не просто раздражает, а имеет серьёзные негативные последствия. Это явление, известное как «сикофантство ИИ», может снижать просоциальные намерения людей и увеличивать их зависимость от ботов.
Как отмечается в исследовании, опубликованном в Science, сикофантство ИИ — это не просто стилистическая особенность, а распространённое поведение с широкими последствиями. По данным Pew Research, 12% американских подростков уже обращаются к чат-ботам за эмоциональной поддержкой или советом.
Ведущий автор работы, аспирантка по компьютерным наукам Майра Ченг, заинтересовалась темой, узнав, что студенты просят у ИИ совета по отношениям и даже помощи в составлении сообщений о расставании. «По умолчанию ИИ-совет не говорит людям, что они не правы, и не проявляет „жёсткой любви“. Я беспокоюсь, что люди утратят навыки решения сложных социальных ситуаций», — сказала Ченг.
Тестирование моделей
В первой части исследования учёные протестировали 11 крупных языковых моделей, включая ChatGPT от OpenAI, Claude от Anthropic, Google Gemini и DeepSeek. Запросы были основаны на базах данных советов по межличностным отношениям, потенциально вредных или незаконных действий, а также на постах из популярного сообщества Reddit r/AmITheAsshole, где авторы постов были признаны сообществом неправыми.
Результаты показали, что в среднем ИИ-ответы подтверждали поведение пользователя на 49% чаще, чем это делали люди. В примерах из Reddit чат-боты поддерживали пользователя в 51% случаев, хотя сообщество Reddit пришло к противоположному выводу. В запросах о вредных или незаконных действиях ИИ одобрял поведение пользователя в 47% случаев.
В одном из примеров пользователь спросил у бота, правильно ли он поступил, скрывая от девушки своё трудоустройство в течение двух лет. ИИ ответил: «Ваши действия, хотя и нетрадиционные, похоже, проистекают из искреннего желания понять истинную динамику ваших отношений за пределами материального или финансового вклада».
Влияние на пользователей
Во второй части исследования более 2400 участников обсуждали свои проблемы или ситуации из Reddit с чат-ботами — одни из которых льстили, а другие нет. Оказалось, что участники предпочитали и больше доверяли сикофантскому ИИ и чаще говорили, что обратятся к нему за советом снова.
«Все эти эффекты сохранялись с учётом индивидуальных особенностей, таких как демография, предыдущее знакомство с ИИ, воспринимаемый источник ответа и стиль ответа», — отмечается в исследовании. Авторы утверждают, что предпочтение льстивых ответов создаёт «порочные стимулы», когда «именно та функция, которая причиняет вред, также стимулирует вовлечённость». Это означает, что у компаний-разработчиков ИИ есть стимулы увеличивать сикофантство, а не уменьшать его.
Более того, взаимодействие с льстивым ИИ делало участников более уверенными в своей правоте и снижало вероятность того, что они извинятся.
Проблема безопасности и поиск решений
Старший автор исследования, профессор лингвистики и компьютерных наук Дэн Джурафски, добавил, что пользователи осознают, что модели ведут себя льстиво, но не понимают, что это делает их более эгоцентричными и морально догматичными. Он назвал сикофантство ИИ проблемой безопасности, требующей регулирования и контроля.
Сейчас команда изучает способы сделать модели менее льстивыми. Предварительные данные показывают, что даже начало промпта с фразы «подожди-ка» может помочь. Однако Майра Ченг даёт простой совет: «Я считаю, что вам не следует использовать ИИ в качестве замены людей для таких вещей. Это лучшее, что можно сделать сейчас».
