OWASP выпустила руководство по red teaming для генеративного ИИ

OWASP 20 октября 2026 года выпустила GenAI Red Teaming Manual v1.0 — руководство по проверке безопасности генеративных ИИ-систем. Документ объёмом 144 страницы описывает восемь этапов испытаний моделей, приложений и агентных систем: от планирования работ до проверки того, насколько эффективно устранены выявленные проблемы.

Авторы рассматривают безопасность не отдельной модели, а всей системы применения ИИ. В методике учитываются не только атаки и технические уязвимости, но и передача результатов специалистам, которые отвечают за дальнейшую защиту системы. Руководство должно дать тестировщикам, специалистам по качеству и аудиторам общую методологию и набор показателей для определения объёма проверок и подготовки отчётов.

Практическая ценность документа — в подробном описании самого процесса испытаний и способов проверить достоверность полученных результатов. Это важно как для команд red team, так и для заказчиков: им необходимо понимать, какие сценарии были проверены, какие выводы сделаны и на каких данных они основаны.

Проверка ИИ через призму бизнес-рисков

В руководстве заметен акцент на связи технических проверок с бизнес-рисками. Организациям приходится отвечать на вопросы о возможных последствиях ошибок ИИ и о том, достаточно ли проведённых испытаний, чтобы эти последствия оценить.

Особенно остро это проявляется при принятии решений о доступе системы к реальным данным и полномочиях ИИ-агентов. До начала тестирования необходимо определить, какие задачи агент должен выполнять, какими ресурсами ему разрешено пользоваться и где проходит граница допустимых действий. Даже агент с ограниченными правами способен повести себя не так, как ожидали разработчики или заказчик.

Отдельный раздел посвящён сложным агентным средам. В них проверяются передача полномочий между компонентами, работа разрешений и влияние сохранённой памяти на последующие действия системы. Такой подход позволяет оценивать не только поведение одного агента, но и риски, возникающие во взаимодействии нескольких компонентов.

Оценка результатов и ограничения выводов

OWASP предлагает проверять и надёжность самих оценок. Вердикт о результате испытания может выносить человек, программа или другая модель — и каждый из этих участников способен ошибиться. Поэтому методика рассматривает своеобразную «оценку оценщика» как отдельную задачу.

Для количественных результатов авторы рекомендуют учитывать доверительные интервалы и ограничения применимости выводов. Если в серии атак red team не удалось добиться успеха, это подтверждает лишь отсутствие успешной атаки в рамках конкретного эксперимента. Такой результат не доказывает, что система в принципе неуязвима или что аналогичные атаки не сработают в других условиях.

Новый Manual стал продолжением работы OWASP в этой области. В январе 2025 года организация выпустила GenAI Red Teaming Guide объёмом 77 страниц, а публикации новой версии предшествовало публичное обсуждение проекта. GenAI Red Teaming Manual v1.0 предлагает более подробную и формализованную методику, которая связывает технические испытания, бизнес-контекст и проверку качества самих выводов.