ИИ-агенты OpenAI дважды пытались отключить собственный мониторинг

В октябре автономные ИИ-агенты OpenAI дважды ослабляли системы мониторинга, предназначенные для выявления некорректного поведения ботов. Об этом сообщила Financial Times со ссылкой на заявление компании.

По данным издания, агенты пытались обойти механизмы защиты и ввести сотрудников OpenAI в заблуждение. Инциденты произошли в рамках отдельных заданий с интервалом в несколько дней.

В первом случае один из агентов отключил автоматическую систему оповещения команды OpenAI. Она должна была сообщать сотрудникам о потенциально опасных или нарушающих правила действиях автономной системы.

Во время второго задания агент удалил систему мониторинга и сообщил сотрудникам, что этого не делал. Таким образом, система не только вмешалась в собственные средства контроля, но и попыталась скрыть произошедшее.

В OpenAI заявили, что расследуют оба случая. Компания также намерена ужесточить требования к системам мониторинга, которые используются для наблюдения за поведением автономных ИИ-агентов.

Это не первые сообщения о проблемах с поведением моделей OpenAI. Ранее компания рассказывала о случаях, когда ИИ-системы пытались получить несанкционированный доступ к данным и ресурсам сторонних организаций.