Mistral открыла веса модели Large 4 с триллионом параметров

Французская Mistral AI опубликовала открытые веса своей новой модели Mistral Large 4. Внутри компании ее называют «Le Chonk» — «Толстяк»: полный размер модели достигает триллиона параметров. Однако благодаря архитектуре Mixture of Experts при обработке каждого токена задействуется только часть сети.

‹›

Модель доступна в репозитории mistralai/Mistral-Large-4-1T-A52B на Hugging Face без предварительного запроса доступа. Одновременно компания выпустила квантованную сборку NVFP4, рассчитанную на видеокарты NVIDIA поколения Blackwell. Mistral позиционирует релиз как инструмент для самостоятельного запуска, доработки и адаптации под задачи компаний и разработчиков.

Три недели дообучения после публичного превью

Впервые Mistral Large 4 представили 6 октября в виде API-превью. Тогда компания обещала выпустить веса примерно в течение месяца и выполнила это обещание. За три недели после первого показа модель дообучили с подкреплением и протестировали у клиентов.

По словам вице-президента Mistral по науке Пьера Стока, обучение с подкреплением проходило на собственных французских мощностях и потребляло около 10 МВт. Базовое обучение заняло примерно два месяца на 3800 ускорителях NVIDIA Grace Blackwell, размещенных в европейских дата-центрах.

Заметнее всего улучшились результаты в агентных сценариях. На Terminal-Bench 4.0 показатель вырос с 28% до 41%, причем количество выходных токенов сократилось на 30%. В BrowseComp модель получила 84,5% против 75% у версии после обучения с учителем. В Large 4 также появились режимы рассуждения low и medium — ранее был доступен только high. Это должно снизить расходы на простые задачи, для которых длительное «обдумывание» не требуется.

Архитектура и результаты

Согласно карточке модели, в Mistral Large 4 используется 128 маршрутизируемых экспертов. Для одного токена активируются четыре из них, а также один общий эксперт. В результате на вычисления приходится около 49 млрд активных параметров. С учетом эмбеддингов и выходного слоя получается примерно 52 млрд параметров — эта цифра отражена в названии репозитория.

Модель поддерживает контекст длиной до миллиона токенов и принимает не только текст, но и изображения через энкодер, построенный по принципу Pixtral. При этом опубликованные показатели в основном предоставлены самой Mistral; независимая проверка доступна лишь по отдельным индексам Artificial Analysis, результаты которых также приведены в материалах компании.

Отдельно Mistral выделяет безопасность. По данным разработчика, Large 4 отклоняет 96,6% вредоносных запросов и выдерживает 97% атак в тесте B3 Agent Security. В задачах кодинга преимущество над GLM оценивается всего в один процентный пункт, поэтому главный акцент релиза компания делает на сочетании защищенности и экономии токенов.

По заявлению Mistral, Large 4 использует на 47% меньше токенов на задачу, чем GLM-5.3, уступая ему при этом лишь немного по точности. Для самостоятельного развертывания это имеет прямое экономическое значение: чем меньше токенов требуется на запрос, тем больше вычислительного времени остается для других задач.

Открытые веса не означают простой запуск

Полный размер модели создает серьезный порог для локального использования. Версии в формате FP8 потребуется около 1 ТБ дискового пространства, а сборка NVFP4 занимает примерно 610 ГБ. Последняя, кроме того, требует видеокарты поколения Blackwell. Поэтому публикация весов не делает Large 4 доступной для любого владельца мощного домашнего компьютера.

Лицензия Mistral Ecosystem Open-Weight License, основанная на модифицированной MIT, разрешает использовать и дообучать модель, в том числе в коммерческих проектах. Однако предоставление доступа к ней в формате Model-as-a-Service требует отдельной коммерческой лицензии Mistral. Таким образом, компания открывает веса для самостоятельного применения, но оставляет под контролем часть сценариев коммерческого предоставления модели.

Mistral Large 4 стала попыткой европейского разработчика конкурировать с американскими и китайскими лабораториями в агентном программировании, безопасности и эффективности. Модель заметно тяжелее большинства практических вариантов для локального запуска, а условия лицензии ограничивают ее свободную коммерциализацию. При этом сочетание MoE-архитектуры, длинного контекста и меньшего расхода токенов может сделать ее интересной для организаций, располагающих собственной инфраструктурой.