Subquadratic представила Snap — модель для быстрых решений внутри AI-агентов

Компания Subquadratic представила SubQ Snap — мультимодальную модель, предназначенную для принятия решений внутри AI-агентов. Её контекстное окно составляет 384 тысячи токенов — в 12 раз больше, чем у модели Jev от TypeSafe. По данным разработчиков, обработка запроса объёмом 100 тысяч токенов и выдача решения занимают около секунды.

Snap стал первым новым продуктом Subquadratic после июньского анонса SubQ 1.1 Small. Тогда компания сообщала о результатах поиска информации в контексте объёмом до 12 млн токенов. Эти показатели относились к предыдущей языковой модели: у Snap окно меньше, однако он рассчитан на частые вызовы в рамках агентного цикла.

Модель для выбора действий

Модели такого типа уже развивают несколько компаний. Помимо Jev, появились OpenAI Decisions API и Microsoft Decision-1. Их используют для классификации, выбора инструментов, проверки результатов и определения следующего шага агента.

В API Snap передаются текущее состояние задачи, вопрос и набор допустимых ответов. Модель возвращает вероятность варианта «да», выбирает один из предложенных ответов или выставляет оценку по заданной шкале. Например, с её помощью можно определить файлы, необходимые для исправления ошибки, выбрать следующий инструмент или проверить, завершена ли задача.

Генерация кода и развёрнутых объяснений остаётся задачей основной языковой модели. Snap выступает в роли быстрого слоя принятия решений. Помимо текста, он принимает до четырёх изображений.

Архитектура и работа с большим контекстом

Большой контекст нужен даже тогда, когда итоговый ответ короткий. Следующее действие агента может зависеть от кода в другом модуле, старого ограничения пользователя или отдельного пункта документа. Чтобы снизить стоимость обработки таких входных данных, Subquadratic использует собственную архитектуру Subquadratic Sparse Attention, или SSA.

В обычном плотном механизме attention вычисляются попарные взаимодействия между токенами, поэтому сложность растёт как O(n²). SSA выбирает позиции с учётом содержания и рассчитывает внимание только для выбранных связей. По описанию компании, вычислительная нагрузка этого механизма растёт линейно вместе с длиной контекста.

Отдельная голова решений преобразует внутренние представления модели в вероятности допустимых ответов. Благодаря этому Snap не нужно последовательно генерировать выходные токены, как это делает обычная языковая модель при подготовке текста.

Демонстрация с репозиторием

В демонстрационном видео Snap получает репозиторий объёмом 226 тысяч токенов. Два запроса занимают в сумме 2,42 секунды: сначала модель выбирает нужные файлы, затем — диапазоны строк.

После этого кодинг-агент получает пакет размером 7 КБ. В него входят четыре файла и 20 диапазонов строк, а также сведения о стиле кода и тестах. Такой сценарий показывает, как модель с большим контекстным окном может подготовить компактный набор данных для следующего шага агента.

Сравнение с Jev и условия доступа

Subquadratic также опубликовала сравнение Snap с Jev в тесте Decision LCR, посвящённом работе с несколькими документами. Объём документов составлял от 72 до 115 тысяч токенов. Snap получал весь контекст одним запросом, тогда как для Jev его разделяли на чанки.

Тест адаптировали под выбор из предложенных вариантов, поэтому результаты нельзя напрямую сопоставлять с исходным AA-LCR, где проверяются письменные ответы. Приведённые показатели представлены самой Subquadratic, а независимая проверка Snap в анонсе не указана.

Snap доступен в публичной предварительной версии через консоль SubQ. Обработка входных данных стоит $0,05 за миллион токенов, выходные токены не тарифицируются. Таким образом, запрос объёмом 100 тысяч токенов обойдётся примерно в $0,005.

Первые 10 тысяч пользователей получат по 100 млн бесплатных токенов. Доступ зависит от доступных вычислительных мощностей: после заполнения лимита новых пользователей могут направить в очередь ожидания.