«Яндекс» и ШАД представили бенчмарк для проверки рассуждений нейросетей

Инженеры «Яндекса» и студенты Школы анализа данных разработали MTGBench — набор тестов для оценки способности нейросетей рассуждать при решении сложных многоэтапных задач. Проект опубликован в открытом доступе, а статья о нём принята на научную конференцию EMNLP 2026.

Бенчмарк предназначен для сравнения ИИ-моделей и выбора наиболее подходящей системы под конкретную задачу. В отличие от тестов, где оценивается только финальный ответ, MTGBench учитывает весь процесс решения: количество шагов, использование новой информации и согласованность с предыдущими ответами.

Авторы сравнивают такой подход с обычным взаимодействием пользователя и нейросети. Человек может поэтапно уточнять запрос — например, добавить даты и бюджет при планировании поездки или рассказать, какие способы решения уже пробовал при обращении в поддержку. Модель должна учитывать эти изменения и не терять контекст разговора.

Семь игр на русском и английском

В MTGBench вошли семь текстовых игр, каждая из которых может включать десятки последовательных шагов. Среди заданий — «Поле чудес», «Данетки», «Элиас» и Wordle. Они позволяют проверить, умеет ли модель логически рассуждать, анализировать подсказки, исключать неподходящие варианты, планировать дальнейшие действия и не противоречить собственным прежним ответам.

В четырёх играх правильность решений определяется алгоритмами. Для остальных используются ИИ-судьи, качество работы которых дополнительно проверили люди. Все задания подготовлены на русском и английском языках.

Исследователи протестировали 16 нейросетей — от компактной версии Qwen до более крупных моделей Gemini и GPT. Эксперимент показал, что польза режима рассуждений зависит от характера задачи. Наиболее заметное улучшение модели демонстрировали в играх с буквами и символами, анализом подсказок и последовательным исключением неверных вариантов.

В заданиях на извлечение знаний и понимание смысла эффект оказался менее выраженным и заметно различался между моделями. Кроме того, высокий результат в одном типе испытаний не гарантировал успеха в другом: показатели нейросетей существенно менялись в зависимости от конкретной игры.

Русский язык оказался сложнее английского

Отдельно авторы отметили разницу между языками. Задания на русском модели в среднем выполняли хуже, чем аналогичные задания на английском. Чтобы сопоставить результаты ИИ с человеческими возможностями, исследователи предложили русскоязычные игры участникам-людям.

Люди хорошо справились с заданиями, связанными с буквами. Однако сильнейшие модели с включённым режимом рассуждений показали более высокие средние результаты во всех семи играх. По мнению разработчиков, MTGBench может использоваться как инструмент для дальнейшего тестирования рассуждающих моделей и поиска их сильных и слабых сторон.