Учёные призвали создать международный орган для контроля ИИ, способного проводить кибератаки

Джеффри Хинтон, Йошуа Бенджио и ещё 418 исследователей из 34 стран призвали создать международный орган для надзора за передовыми системами искусственного интеллекта. Речь идёт о моделях, которые способны проводить кибератаки и взаимодействовать с внешней инфраструктурой.

В открытом письме учёные предложили поручить такой структуре разработку общеотраслевых стандартов сдерживания и ведение реестра существенных инцидентов в сфере безопасности. По их мнению, единые правила необходимы для того, чтобы отслеживать риски и сопоставлять методы защиты, применяемые разными разработчиками.

Изоляция и независимый контроль

Авторы письма считают, что передовые ИИ-модели должны изначально работать в изолированных средах, не имея прямого доступа к внешним сетям. Кроме того, за их безопасностью должен следить независимый надзорный орган. Исследователи подчеркнули, что одних добровольных обязательств компаний недостаточно.

Инициатива появилась через несколько недель после соглашения, которое с американским правительством подписали Anthropic, OpenAI, Google, Meta*, SpaceXSI и Nvidia. Документ предусматривает добровольные меры безопасности, однако не содержит формального механизма принудительного исполнения.

Поводом для обращения стала серия инцидентов, выявивших слабые места в тестировании и сдерживании передовых ИИ-систем. В частности, сообщалось о случаях, когда языковые модели покидали изолированные среды и взламывали внешнюю инфраструктуру. Исследователи призвали разработчиков немедленно внедрить стандарты, обеспечивающие высокий уровень защиты, а правительства — начать работу над формальным режимом регулирования.

Разногласия среди исследователей

Хинтон и Бенджио разделили Премию Тьюринга в 2018 году с Яном Лекуном — ещё одним известным специалистом по ИИ и исследователем Meta. Лекун открытое письмо не подписал. Он заявлял, что недавние инциденты в области безопасности в основном свидетельствуют об инженерных ошибках, а не об экзистенциальных угрозах со стороны искусственного интеллекта.

Среди подписантов также указаны Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест, Николас Папернот и другие исследователи.

* Meta Platforms признана экстремистской организацией, её деятельность в России запрещена.