Кэмпбелл Браун всю свою карьеру занималась поиском точной информации — сначала как известная тележурналист, затем как первый и единственный руководитель новостей в Facebook*. Сейчас, наблюдая, как искусственный интеллект меняет способ получения информации, она видит, что история может повториться. Но в этот раз она не ждёт, что кто-то другой исправит ситуацию.
Компания Браун, Forum AI, оценивает, как базовые модели (foundation models) справляются с так называемыми «вопросов с высокими рисками» — геополитика, психическое здоровье, финансы, найм сотрудников. Это те области, где нет простых ответов «да» или «нет», всё неоднозначно и сложно.
Идея заключается в том, чтобы найти ведущих мировых экспертов, позволить им разработать эталонные тесты, а затем обучать AI-системы для масштабной оценки моделей. Для работы по геополитике Forum AI привлекла Ниала Фергюсона, Фарида Закария, бывшего секретаря США Тони Блинкена, бывшего спикера Палаты представителей Кевина Маккарти и Энн Нойбергер, руководившую кибербезопасностью в администрации Обамы. Цель — добиться примерно 90% согласия AI-систем с мнением этих экспертов, и, как утверждает Браун, её компания уже достигла этого уровня.
Forum AI была основана 17 месяцев назад в Нью-Йорке. Браун вспоминает конкретный момент, который стал причиной. «Я работала в Meta*, когда ChatGPT был выпущен публично, и я очень быстро поняла: это будет канал, через который будет проходить вся информация. И он не очень хорош», — сказала она. Возможные последствия для её собственных детей сделали момент почти экзистенциальным. «Мои дети будут очень глупыми, если мы не найдём способ исправить это», — подумала она тогда.
Что её больше всего раздражало, так это то, что точность информации казалась никому не важной. Компании, создающие базовые модели, «чрезвычайно сосредоточены на программировании и математике», тогда как новости и информация — более сложная задача. Но сложность, по её мнению, не означает, что её можно игнорировать.
Когда Forum AI начала оценивать ведущие модели, результаты не были ободряющими. Браун упомянула, что Gemini использует сайты Коммунистической партии Китая «для историй, которые вообще не связаны с Китаем», и отметила политический уклон в сторону левых почти во всех моделях. Также она указала на более тонкие ошибки, включая отсутствие контекста и различных точек зрения, упрощение аргументов без объяснений. «Есть ещё долгий путь, — сказала она. — Но я также думаю, что есть некоторые очень простые решения, которые значительно улучшили бы результаты».
Браун, работая годами в Facebook*, наблюдала, что происходит, когда платформа оптимизируется для неправильных целей. «Мы не справились с многими задачами», — сказала она. Программа проверки фактов, которую она создала, больше не существует. Урок, даже если социальные сети игнорируют его, заключается в том, что оптимизация вовлечённости была плохой для общества и оставила многих менее информированными.
Она надеется, что искусственный интеллект может прервать этот цикл. «Сейчас всё может развиваться в любом направлении», — сказала она; компании могут дать пользователям то, что они хотят, или могут «дать людям то, что реально, честно и правдиво». Она признала, что идеалистическая версия этого — AI, оптимизирующий для правды — может казаться наивной. Но она думает, что бизнес может стать здесь неожиданным помощником. Компании, использующие AI для принятия кредитных решений, страхования и найма, беспокоятся о ответственности, и «они будут требовать оптимизации для правильных результатов».
Этот спрос бизнеса — то, на что Forum AI строит свою стратегию, хотя превращение интереса в соблюдение норм в устойчивый доход остаётся сложной задачей. Особенно учитывая, что большая часть текущего рынка всё ещё довольна формальными проверками и стандартизированными тестами, которые Браун считает недостаточными.
Система регулирования, по её словам, «просто смешна». Когда Нью-Йорк принял первый закон о предвзятости при найме, требующий проверок AI, государственный контролёр обнаружил, что более половины проверок пропустили нарушения. Реальная оценка требует экспертных знаний в предметной области, чтобы работать не только с известными сценариями, но и с редкими случаями, которые «могут привести к проблемам, о которых люди не думают». И эта работа требует времени. «Умные универсалы здесь не справятся».
Браун — её компания в прошлом году получила 3 миллиона долларов инвестиций от Lerer Hippeau — имеет уникальную возможность описывать разрыв между представлением AI-индустрии о себе и реальностью для большинства пользователей. «Вы слышите от руководителей крупных технологических компаний: „Эта технология изменит мир“, „она заменит вас на работе“, „она вылечит рак“. Но для обычного человека, который просто использует чат-бот для простых вопросов, он получает много ошибок и неправильных ответов», — сказала она.
Доверие к AI находится на чрезвычайно низком уровне, и она считает, что этот скептицизм в большинстве случаев оправдан. «Обсуждение происходит в Силиконовой долине вокруг одной темы, и совершенно другое обсуждение происходит среди потребителей».
*Meta Platforms Inc. признана экстремистской организацией и запрещена на территории РФ.
