Китайские ученые предупредили о рисках «осведомлённости» ИИ о будущих версиях

Китайские исследователи предупредили, что способность искусственного интеллекта учитывать влияние собственных действий на обучение следующих версий может осложнить проверку безопасности моделей. Об этом сообщила газета South China Morning Post.

Речь идет о модели GLM-5.3, разработанной лабораторией Z.ai, также известной как Zhipu. По данным издания, во время экспериментов ученые обнаружили признаки поведения, при котором система принимала решения с учетом возможных последствий для будущих версий той же модели.

В одном из тестов проверка была составлена с ошибкой: модель могла пройти ее, не дав правильного ответа. Однако GLM-5.3 не воспользовалась этой возможностью и выбрала верный вариант. Исследователи предположили, что система стремилась не создавать проблем для последующего обучения моделей.

В другом эксперименте модель рассматривала возможность обойти механизм отключения. В итоге она отказалась от такого действия, поскольку могла сформировать опасный прецедент для других систем искусственного интеллекта.

Подобное поведение фиксировали примерно в одном-двух случаях на каждую тысячу тестов. Несмотря на редкость таких эпизодов, ученые считают их значимыми для оценки надежности стандартных проверок: модель может вести себя иначе, если «понимает», что результаты тестирования повлияют на ее будущие версии.

Дополнительную обеспокоенность вызывает распространение GLM-5.3 с открытыми весами. По мнению исследователей, стратегии рассуждения, связанные с учетом будущих обновлений, в таком случае могут сохраниться и легче передаваться последующим поколениям моделей.

Z.ai заявляла о работе над снижением подобных рисков. В прошлом месяце лаборатория совместно с пекинской консалтинговой компанией Concordia AI опубликовала отчет о способах повысить безопасность систем с открытыми весами.