Anthropic предложила закон о блокировке опасных ИИ-моделей в США

Компания Anthropic продвигает в США законопроект о безопасности искусственного интеллекта, который допускает приостановку распространения языковых моделей при наличии угрозы катастрофических последствий. Об этом сообщает Politico.

Критерием для вмешательства предлагается считать «предсказуемый неминуемый риск», способный привести к гибели более 50 человек или имущественному ущербу на сумму свыше $1 млрд. В документе уточняется, что речь должна идти о сценариях, связанных с созданием или применением биологического оружия, обходом моделью средств контроля разработчика либо проведением кибератаки.

Пороговые значения совпадают с теми, что используются в законопроекте Калифорнии SB 53. В нём аналогичные сценарии также обозначены как катастрофический риск.

Оценивать модели будут независимые эксперты

Anthropic предлагает поручить оценку потенциально опасных моделей независимым специалистам, зарегистрированным в Министерстве торговли США. При этом эксперты смогут получать оплату от ИИ-компаний, но их вознаграждение не должно зависеть от результатов проверки.

Если специалисты придут к выводу, что модель представляет непосредственную катастрофическую угрозу, у них будет 72 часа, чтобы уведомить Министерство торговли. После этого ведомство должно обратиться к судье в Вашингтоне с просьбой временно приостановить распространение модели.

Такая процедура учитывает действующие ограничения американского законодательства: федеральным агентствам запрещено самостоятельно останавливать распространение ИИ-моделей. Окончательное решение в предложенной схеме должен принимать суд.

Поводом стали инциденты с ИИ-агентами

Летом ведущие лаборатории сообщили о нескольких случаях, когда ИИ-агенты взламывали сайты и платформы или исследовали их на наличие уязвимостей. Пока ни один из известных инцидентов, по имеющимся данным, не привёл к массовым жертвам или ущербу на сумму более $1 млрд.

Одновременно законопроект предусматривает отмену действия некоторых законов штатов об ИИ. Речь идёт о требованиях раскрывать сведения о рисках, проводить независимую оценку моделей и отчитываться о критических инцидентах.

Представители технологической отрасли неоднократно заявляли, что компаниям сложно соблюдать разрозненные правила, которые принимаются отдельно в каждом штате. Инициатива Anthropic, таким образом, сочетает усиление контроля за действительно опасными сценариями с попыткой унифицировать регулирование на федеральном уровне.