Поиск информации в Google сегодня неизбежно сталкивает пользователей с AI Overviews — функцией на базе ИИ Gemini, которая появляется в верхней части страницы результатов. С момента запуска в 2024 году этот инструмент столкнулся с волной критики из-за нестабильной точности ответов. Хотя система совершенствуется и чаще даёт верные ответы, этого всё ещё недостаточно.
90% точности — это мало?
Новый анализ, проведённый The New York Times, показал, что AI Overviews даёт правильные ответы в 90% случаев. Обратная сторона медали — каждый десятый ответ оказывается неверным. Для Google, обрабатывающего миллиарды запросов, это означает распространение сотен тысяч ошибочных сводок каждую минуту.
Как проводили тестирование
Исследование проводилось при участии стартапа Oumi, который специализируется на разработке ИИ-моделей. Компания использовала ИИ-инструменты для оценки AI Overviews с помощью теста SimpleQA — стандартного набора для проверки фактической точности генеративных моделей. SimpleQA, выпущенный OpenAI в 2024 году, представляет собой список из более чем 4000 вопросов с проверяемыми ответами.
Первые тесты Oumi запустила в прошлом году, когда флагманской моделью Google был Gemini 2.5. Тогда показатель точности составлял 85%. После выхода обновления Gemini 3 AI Overviews смогла правильно ответить уже на 91% вопросов. Если экстраполировать эту погрешность на все поисковые запросы в Google, система генерирует десятки миллионов неверных ответов ежедневно.
Примеры ошибок ИИ
В отчёте приведены конкретные случаи сбоев. Например, на вопрос о дате превращения бывшего дома Боба Марли в музей AI Overviews сослалась на три источника, два из которых вообще не содержали нужной даты. Третий источник, «Википедия», указывал два противоречивых года, и ИИ уверенно выбрал неверный вариант.
Другой тестовый вопрос касался даты включения виолончелиста Йо-Йо Ма в Зал славы классической музыки. Хотя AI Overviews сослалась на сайт организации, где указано это событие, она одновременно заявила, что такого Зала славы классической музыки не существует.
