Новое исследование британского Института безопасности искусственного интеллекта (AISI) показывает, что публично выпущенная на прошлой неделе модель GPT-5.5 от OpenAI демонстрирует «схожий уровень производительности в наших кибер-оценках» с моделью Mythos Preview от Anthropic. Последняя была представлена месяц назад как представляющая серьёзную угрозу, что привело к ограниченному релизу только для «ключевых отраслевых партнёров».
Результаты тестов
С 2023 года AISI проводит серию из 95 испытаний Capture the Flag для проверки возможностей передовых ИИ-моделей в таких задачах, как реверс-инжиниринг, веб-эксплуатация и криптография. На самых сложных «Экспертных» заданиях GPT-5.5 справился в среднем с 71,4% задач, что немного выше результата Mythos Preview (68,6%), хотя разница находится в пределах погрешности.
В одном особенно трудном испытании, где требовалось создать дизассемблер для декодирования бинарного файла на Rust, GPT-5.5 решил задачу за 10 минут 22 секунды без помощи человека, потратив 1,73 доллара на API-вызовы.
Симуляция атак
GPT-5.5 также сравнялся с Mythos Preview в тесте «The Last Ones» (TLO), который моделирует 32-шаговую атаку по извлечению данных из корпоративной сети. GPT-5.5 преуспел в 3 из 10 попыток, тогда как Mythos Preview — в 2 из 10. Ни одна предыдущая модель не справлялась с этим тестом ни разу.
Однако GPT-5.5, как и все протестированные ранее ИИ, всё ещё не может пройти более сложную симуляцию AISI «Cooling Tower», которая моделирует попытку нарушения работы программного обеспечения управления электростанцией.
Маркетинг страха или реальный прогресс?
Результаты GPT-5.5 позволяют предположить, что в плане киберрисков Mythos Preview, вероятно, не был «прорывом, специфичным для одной модели», а скорее стал «побочным продуктом более общих улучшений в автономности, рассуждениях и программировании на длинных горизонтах», — пишет AISI.
В недавнем интервью генеральный директор OpenAI Сэм Альтман раскритиковал то, что он называет «маркетингом, основанным на страхе», при продвижении ограниченных релизов некоторых ИИ-моделей. Хотя он уверен, что Mythos — отличная модель для кибербезопасности, он добавил, что «это, очевидно, невероятный маркетинговый ход — сказать: „Мы построили бомбу. Мы собираемся сбросить её вам на голову. Мы продадим вам бомбоубежище за 100 миллионов долларов“».
«Будет много риторики о моделях, которые слишком опасны для выпуска, — продолжил Альтман. — Также будут очень опасные модели, которые придётся выпускать иными способами».
Ограниченный доступ к специализированным моделям
В феврале OpenAI запустила пилотную программу Trusted Access for Cyber, позволяющую исследователям безопасности и компаниям верифицировать личность и зарегистрировать интерес к изучению передовых моделей OpenAI для «законной оборонительной работы». В прошлом месяце компания заявила, что использует этот список доверенного доступа для контроля ограниченного запуска GPT-5.4-Cyber — варианта модели, который, по её словам, «специально доработан для дополнительных кибервозможностей и с меньшими ограничениями».
В четверг Сэм Альтман сообщил в соцсетях, что первоначальный выпуск GPT-5.5-Cyber также будет ограничен «для ключевых киберзащитников в ближайшие несколько дней».
