# ВТБ и МГУ разработали детекторы токсичности и галлюцинаций в ответах ИИ

> Источник: 404 Media. Канонический URL: https://404-media.ru/novosti/vtb-i-mgu-razrabotali-detektory-toksichnosti-i-gallyutsinatsiy-v-otvetah-ii

ВТБ и Центр искусственного интеллекта МГУ создали систему проверки запросов и ответов цифровых помощников на токсичность и вымышленные сведения.

- Рубрика: Новости (https://404-media.ru/novosti)
- Опубликовано: 2026-10-29T12:11:41+03:00
- HTML: https://404-media.ru/novosti/vtb-i-mgu-razrabotali-detektory-toksichnosti-i-gallyutsinatsiy-v-otvetah-ii
- Markdown: https://404-media.ru/novosti/vtb-i-mgu-razrabotali-detektory-toksichnosti-i-gallyutsinatsiy-v-otvetah-ii.md
- llms.txt: https://404-media.ru/llms.txt

![ВТБ и МГУ разработали детекторы токсичности и галлюцинаций в ответах ИИ](https://storage.yandexcloud.net/404-media/media/2026/10/Mie4xu3MCgweQ1MGWZFULHrCEBpHVvPJwcOKAsV4.jpg)

ВТБ совместно с Центром [искусственного интеллекта](/tehnologii) МГУ разработал систему контроля ответов ИИ-агентов. В рамках партнерства созданы два детектора, которые проверяют клиентские запросы и ответы цифровых помощников.

Первый инструмент предназначен для выявления токсичности. Он анализирует сообщения пользователей на наличие запрещенных тем, нарушений законодательства, взрослого контента и других неэтичных формулировок. Если запрос не соответствует установленным требованиям, система блокирует его и не передает на обработку виртуальному помощнику.

Второй детектор проверяет уже сформированные ответы ИИ на наличие галлюцинаций — случаев, когда языковая модель уверенно сообщает сведения, не соответствующие действительности.

Система ищет в ответах несоответствия и противоречия, а также указывает, в какой именно части текста обнаружена потенциальная ошибка. После этого специалисты ВТБ могут направить ответ на повторную проверку или заблокировать его.

## Контроль ответов цифровых помощников

По словам советника первого заместителя президента — председателя правления ВТБ Сергея Путятинского, такие инструменты необходимы для сохранения качества обслуживания при активном использовании технологий искусственного интеллекта.

Детекторы будут применяться для контроля взаимодействия клиентов с цифровыми помощниками банка. Их задача — снизить риск обработки недопустимых запросов и распространения недостоверной информации в ответах ИИ.

О разработке Путятинский сообщил на мероприятии Kazan Digital Week. В банке считают, что проверка запросов и результатов работы моделей должна стать частью инфраструктуры при внедрении генеративного ИИ в клиентские сервисы.