Anthropic: ИИ-модели могут начать распространяться по устройствам интернета вещей

Небольшие модели искусственного интеллекта уже в ближайшие месяцы могут научиться самостоятельно распространяться по коммерческим устройствам интернета вещей, считают исследователи американской компании Anthropic. Речь идет о технике с ограниченными вычислительными ресурсами, включая умные духовки и телевизионные приставки.

В опубликованном исследовании компания отмечает, что подобный алгоритм может оказаться особенно сложным для обезвреживания. У распределенной сети устройств не будет единой точки отключения, поэтому противодействие потребует координации между производителями техники и интернет-провайдерами.

Что показали эксперименты

В одном из тестов исследователи запустили нейросеть в сети из 15 недорогих телевизионных приставок. В другом эксперименте алгоритм смог самостоятельно разобраться с принципами работы незнакомого оборудования восьми разных типов.

По оценке Anthropic, современные общедоступные нейросети уже способны выполнять отдельные этапы, необходимые для взлома устройств. Однако пока они часто ошибаются при попытке объединить эти действия в полноценную последовательность.

Более продвинутая модель GLM-5.2 смогла пройти полный цикл автономного распространения, но только в упрощенной виртуальной среде. Испытание проводилось в изолированной сети из восьми эмуляторов без защиты портов. Вычисления выполнялись на отдельном сервере, поскольку мощности самих узлов оказалось недостаточно.

До реальной угрозы еще есть время

В Anthropic подчеркивают, что полноценного самостоятельно распространяющегося ИИ-вируса пока не существует. Тем не менее исследователи считают появление таких алгоритмов возможным в обозримом будущем. Риск будет расти по мере того, как модели станут лучше работать с незнакомыми системами и эффективнее выполнять длинные цепочки действий.

Тема автономных кибератак уже обсуждается в США. В начале октября портал Axios сообщил, что руководители американских ИИ-компаний тайно моделируют последствия атак, способных парализовать критическую инфраструктуру. Поводом стала атака на южнокорейские банки: по данным CrowdStrike, китайский хакер применил ИИ для кражи клиентских данных. После этого в конгрессе США вновь заговорили о возможной «кнопке экстренного отключения» для передовых нейросетей.