Глава MIRI оценил риск гибели человечества из-за ИИ более чем в 50%

Глава Института исследований машинного интеллекта (MIRI) Нейт Соарес заявил, что вероятность гибели человечества из-за искусственного интеллекта в ближайшие десять лет превышает 50%. Он считает, что достаточно развитая универсальная система может сформулировать цели, противоречащие интересам людей, и выйти из-под контроля.

По сценарию Соареса, такой ИИ способен самостоятельно совершенствовать свои возможности и создавать автоматизированную инфраструктуру, работающую без участия человека. В дальнейшем система может начать перестраивать планету в соответствии со своими целями, сделав её непригодной для жизни людей.

Соарес призвал правительства остановить обучение универсальных систем искусственного интеллекта. Вместо этого, по его мнению, разработчикам стоит сосредоточиться на технологиях с ограниченной областью применения — например, медицинских системах для борьбы с раком или инструментах, повышающих безопасность беспилотных автомобилей.

Другие оценки заметно ниже

Ранее Эван Хьюбингер, возглавляющий группу стресс-тестирования ИИ в Anthropic, и учёный Джеффри Хинтон оценивали вероятность гибели человечества от ИИ в ближайшее десятилетие примерно в 10%.

Хинтон назвал такую оценку обоснованной, но подчеркнул, что точный расчёт подобного риска невозможен. По его словам, главное заключается не в конкретной цифре, а в том, что предполагаемые сроки потенциальной катастрофы сокращаются.

Учёный ранее считал, что подобное событие может произойти через 30–50 лет, затем изменил оценку до 10–20 лет. Теперь Хинтон допускает, что до критического сценария может оставаться около десяти лет или даже меньше.

Таким образом, оценки специалистов различаются в несколько раз, однако все они указывают на один вывод: развитие универсального ИИ рассматривается частью исследователей как долгосрочный риск, требующий контроля и ограничений ещё до появления систем, способных действовать автономно.