Когда технический директор Mozilla заявил в прошлом месяце, что обнаружение уязвимостей с помощью ИИ означает «конец эпохи zero-day» и «у защитников наконец-то есть шанс на решительную победу», скептицизм был ощутим. Ведь это выглядело частью слишком знакомого сценария: выбрать горстку впечатляющих результатов ИИ, опустить мелкий шрифт, который мог бы дать более сложную картину, и пустить поезд хайпа дальше.
Осознавая этот скепсис, Mozilla в четверг предоставила взгляд изнутри на использование модели Anthropic Mythos — ИИ для поиска уязвимостей в ПО. За два месяца с её помощью было обнаружено 271 нарушение безопасности в Firefox. В сообщении инженеры Mozilla заявили, что достигнутый прорыв, наконец-то готовый для серьёзной работы, стал результатом двух вещей: (1) улучшения самих моделей и (2) разработки Mozilla специальной оболочки (harness), которая поддерживала Mythos при анализе исходного кода браузера.
«Почти нет ложных срабатываний»
Инженеры сообщили, что их ранние опыты с ИИ-поиском уязвимостей были полны «нежелательной ерунды». Обычно модель просили проанализировать блок кода. Она затем выдавала правдоподобные отчёты об ошибках, часто в беспрецедентных масштабах. Однако, когда разработчики-люди начинали расследование, они неизменно обнаруживали, что большая часть деталей была выдумана (галлюцинации ИИ). Людям приходилось тратить значительные усилия на обработку отчётов об уязвимостях старомодным способом.
Работа с Mythos была другой, заявил в интервью ведущий инженер Mozilla Брайан Гринстед. Главным отличительным фактором стало использование агентской оболочки — фрагмента кода, который оборачивает большую языковую модель (LLM) и направляет её через серию конкретных задач. Чтобы такая оболочка была полезной, требуются значительные ресурсы для её настройки под специфическую семантику проекта, инструменты и процессы.
Гринстед описал созданную его командой оболочку как «код, который управляет LLM для достижения цели. Он даёт модели инструкции (например, «найди баг в этом файле»), предоставляет ей инструменты (например, позволяет читать/записывать файлы и запускать тесты), а затем выполняет её в цикле до завершения». Оболочка дала Mythos доступ к тем же инструментам и пайплайну, которые используют разработчики Mozilla, включая специальную сборку Firefox для тестирования.
