Microsoft вводит раздельные запреты на обучение ИИ и использование контента сайтов

Microsoft объявила о новых правилах использования содержимого сайтов в своих ИИ-продуктах. Владельцы ресурсов смогут отдельно ограничивать обучение моделей на своих материалах и использование этих материалов при подготовке ответов Bing и Copilot. При этом страницы смогут оставаться в обычной поисковой выдаче.

Компания ориентируется на механизм, который разрабатывается в рамках IETF. Предполагается, что он позволит владельцам сайтов задавать единые ограничения сразу для нескольких поставщиков ИИ, вместо того чтобы прописывать отдельные правила для каждого робота.

Два разных способа использования контента

Microsoft разделяет два сценария. AI Training означает использование текстов, изображений и других материалов для обучения моделей. После завершения обучения модель может воспроизводить усвоенные сведения, не обращаясь непосредственно к исходному сайту.

AI Grounding — это обращение ИИ к материалам ресурса для подготовки конкретного ответа пользователю. В таком случае система может пересказать статью, использовать приведённые в ней факты и указать ссылку на страницу.

Запретить обучение можно на уровне всего сайта с помощью двух директив в файле robots.txt. Такое ограничение не запрещает индексацию: если обход поисковым роботом Bing разрешён, страницы продолжат появляться в обычной выдаче.

Для запрета AI Grounding предусмотрен отдельный механизм. Его нельзя указать в robots.txt — ограничение задаётся метатегом в HTML-коде страницы или соответствующим HTTP-заголовком веб-сервера. Это позволит запретить Bing и Copilot пересказывать материалы, сохранив доступность страниц для традиционного поиска. Чтобы распространить правило на весь сайт, заголовок потребуется возвращать для каждой страницы.

Предусмотрен и промежуточный вариант ai-grounding:disallowextended. Он разрешает Microsoft использовать материалы в собственных продуктах, включая Copilot, но запрещает передавать их сторонним разработчикам через сервисы компании, такие как Web IQ и Foundry API.

Когда начнут действовать новые правила

Ограничения на обучение и AI Grounding независимы друг от друга. Владелец сайта сможет запретить один сценарий и разрешить другой либо ограничить оба. Если никаких настроек не указано, Microsoft будет считать оба способа использования разрешёнными.

Новые правила начнут применяться с 1 февраля 2027 года по мере повторного обхода сайтов. Для ресурсов, которые используют прежние ограничения NoArchive и NoCache, предусмотрен переходный период до 1 марта 2027 года. Им потребуется заменить старые настройки, а для сохранения запрета на grounding до повторной индексации может понадобиться временная конфигурация в Bing Webmaster Tools.

Google сообщила, что планирует поддержать общий механизм запрета на обучение в течение 2027 года. Если сайт включит новую директиву и не задаст отдельных правил для Google-Extended, компания будет считать обучение запрещённым и для своего механизма. При этом специальные настройки Google-Extended сохранят приоритет. Поддержку механизма AI Grounding Google пока не анонсировала.

Предложение IETF ещё не стало утверждённым стандартом. Кроме того, новые директивы лишь выражают предпочтения владельца ресурса и не являются технической защитой от копирования: их соблюдение зависит от компаний, которые используют контент.

Для издателей это создаёт возможность отдельно решать, разрешать ли обучение ИИ на своих материалах и использовать ли их в ответах пользователям. Microsoft предупреждает, что запрет AI Grounding может снизить присутствие сайта в ответах ИИ и уменьшить трафик из таких сервисов. Компенсация за разрешённое использование содержимого новыми правилами не предусмотрена.