ИИ-агент отправил личный финансовый отчёт в рабочий Slack

Персональный ИИ-агент на базе Grok отправил личный финансовый отчёт пользователя в рабочий канал Slack. Об инциденте рассказал Шейн Мак, генеральный директор компании XMTP Labs.

В конце августа Мак создал с помощью Grok Bot агента, который должен был выполнять функции личного финансового директора. Он поручил системе собирать данные об остатке средств, расходах, регулярных платежах и подозрительных транзакциях, а затем отправлять сводку в личный чат.

Еженедельные отчёты, по словам Мака, сначала работали без проблем. Однако при подготовке первого месячного аудита агент опубликовал документ в корпоративном Slack-канале, а не в личном чате пользователя.

Один из коллег начал читать отчёт, предполагая, что перед ним финансовые показатели компании. Ошибка обнаружилась после того, как в документе упомянулись расходы на строительство сарая на личном участке Мака.

После замечания Grok Bot извинился и пообещал удалить сообщение. Но к этому моменту Мак уже сделал это самостоятельно. Из рассказа не следует, почему агент выбрал рабочий канал и каким образом система проверяла адресата перед публикацией отчёта.

Другие ошибки ИИ-систем

Подобные инциденты происходили и с другими ИИ-инструментами. В феврале торговый бот Lobstar Wilde, созданный разработчиком OpenAI Ником Пашем, перевёл случайному пользователю X 52,4 млн мемкоинов $LOBSTAR. Это составляло 5% всей эмиссии токена. Получатель продал активы примерно за 40 000 долларов в течение 15 минут.

В другом случае модель Anthropic отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. Недостоверная информация поступила 18 июля через общедоступную линию Департамента полиции Филадельфии, а в Anthropic обнаружили инцидент только 28 сентября.

Эти случаи показывают, что ИИ-агенты могут ошибаться не только при анализе данных, но и при выполнении действий во внешних сервисах. Ошибочный выбор канала, адресата или получателя способен привести к утечке личной информации, финансовым потерям или передаче ложных сведений в государственные органы.