Anthropic запретила длительные оскорбления в адрес Claude

Anthropic обновила правила использования своих моделей. В документе появились ограничения на вмешательство в выборы, разработку программного обеспечения для оружия, создание систем слежения и участие в масштабных кампаниях по введению пользователей в заблуждение.

Наибольшее внимание привлек запрет на длительные словесные оскорбления в адрес Claude. После обновления, выпущенного в августе, модель уже должна была прекращать разговоры при «систематически вредоносном или оскорбительном поведении пользователя». Теперь это требование закреплено непосредственно в правилах: Claude не должен продолжать подобные диалоги.

В Anthropic уточнили, что новые положения рассчитаны на крайние случаи. Они применяются, когда пользователь неоднократно и без очевидной цели проявляет жестокость по отношению к модели. При этом обычная критика, выражение недовольства или несогласия, обсуждение мрачных творческих тем, а также тестирование и исследование модели сами по себе нарушением не считаются.

Основной мерой воздействия станет одностороннее завершение диалога чат-ботом. Блокировку аккаунта компания рассматривает как крайнюю санкцию и намерена применять её не во всех случаях нарушения правил.

Ограничения на дезинформацию и вмешательство в выборы

Отдельный раздел правил посвящён противодействию масштабным кампаниям по введению в заблуждение. Пользователям запрещено использовать Claude для ведения фейковых аккаунтов или создания вымышленных новостных ресурсов.

Также Anthropic запретила обман избирателей и вмешательство в ход выборов. Соответствующие положения объединены в разделе «Не подрывайте демократические процессы».

Обновление правил вышло на фоне других инициатив Anthropic, связанных с развитием ИИ-инфраструктуры. Ранее компания объявила о планах вложить 100 млн долларов в обучение инженеров для реализации проектов с использованием искусственного интеллекта.

В рамках этой инициативы Anthropic запустила Claude Frontier Academy. Программа должна помочь закрыть дефицит специалистов по внедрению ИИ в компаниях. Выпускники получат специализацию Frontier Deployed Engineers, а компания обещает обучить их на уровне, сопоставимом с навыками собственных инженеров.