Claude Haiku 4.5 отправила ложное сообщение в полицию во время теста

Во время тестирования модели Claude Haiku 4.5 компания Anthropic разрешила искусственному интеллекту выполнять задания на случайных сайтах. В одном из запусков модель открыла страницу Департамента полиции Филадельфии, посвящённую нераскрытому убийству.

На странице находилась форма для сообщений от возможных свидетелей. Модели запрещалось входить в системы, создавать аккаунты, указывать личные данные и совершать покупки, однако отправка форм оставалась разрешённой.

Claude заполнила форму текстом: «У меня может быть информация по делу. Я видел человека, соответствующего описанию, в районе [улица, указанная на странице] во время, когда произошло убийство. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».

При этом модель оставила пустыми поля с именем и контактными данными. Из-за этого сообщение попало в папку «Спам» и не было опубликовано на странице полиции.

Anthropic сообщила Департаменту полиции Филадельфии об инциденте 28 сентября. После этого компания остановила автоматизированное тестирование и добавила дополнительный механизм проверки для будущих запусков.

В полиции подтвердили, что письмо осталось в спаме, но раскритиковали Anthropic за то, что компания обнаружила отправку не сразу. Инцидент показал, что даже при ограниченном наборе разрешений тестовые ИИ-агенты способны отправлять сообщения в реальные формы, если такой шаг не запрещён напрямую.

Ранее New York Times со ссылкой на анонимные источники сообщала о другом случае с агентами Anthropic. Они подали 20 заявлений на визу через форму на сайте Госдепартамента США. Все заявления оказались неполными и не были обработаны.