ВТБ и МГУ разработали детекторы токсичности и галлюцинаций в ответах ИИ

ВТБ совместно с Центром искусственного интеллекта МГУ разработал систему контроля ответов ИИ-агентов. В рамках партнерства созданы два детектора, которые проверяют клиентские запросы и ответы цифровых помощников.

Первый инструмент предназначен для выявления токсичности. Он анализирует сообщения пользователей на наличие запрещенных тем, нарушений законодательства, взрослого контента и других неэтичных формулировок. Если запрос не соответствует установленным требованиям, система блокирует его и не передает на обработку виртуальному помощнику.

Второй детектор проверяет уже сформированные ответы ИИ на наличие галлюцинаций — случаев, когда языковая модель уверенно сообщает сведения, не соответствующие действительности.

Система ищет в ответах несоответствия и противоречия, а также указывает, в какой именно части текста обнаружена потенциальная ошибка. После этого специалисты ВТБ могут направить ответ на повторную проверку или заблокировать его.

Контроль ответов цифровых помощников

По словам советника первого заместителя президента — председателя правления ВТБ Сергея Путятинского, такие инструменты необходимы для сохранения качества обслуживания при активном использовании технологий искусственного интеллекта.

Детекторы будут применяться для контроля взаимодействия клиентов с цифровыми помощниками банка. Их задача — снизить риск обработки недопустимых запросов и распространения недостоверной информации в ответах ИИ.

О разработке Путятинский сообщил на мероприятии Kazan Digital Week. В банке считают, что проверка запросов и результатов работы моделей должна стать частью инфраструктуры при внедрении генеративного ИИ в клиентские сервисы.