Как устроено контекстное окно языковых моделей и почему оно теряет информацию

В новом выпуске подкаста команды Банки.ру обсуждают, как устроено контекстное окно современных языковых моделей. Гостем стал Рушан, тимлид ML-команды. Разговор посвящён тому, как компании смогли увеличить доступный объём контекста до миллиона токенов и какие ограничения сохраняются даже при таких масштабах.

Ведущие разбирают, что именно занимает контекст помимо непосредственного запроса пользователя. В него могут входить предыдущие сообщения, инструкции, результаты работы инструментов и другие данные, которые модель учитывает при формировании ответа. Поэтому видимый пользователю текст не всегда отражает реальный объём занятого окна.

Почему модель может терять середину текста

Отдельная тема выпуска — неравномерная работа модели с информацией внутри длинного контекста. По словам участников, языковая модель лучше удерживает сведения в начале и конце последовательности, тогда как данные из середины может использовать хуже. Это явление сравнивают с особенностями человеческой памяти и связывают с тем, как модель обрабатывает длинные последовательности.

Также в подкасте объясняют проблему вычислительной сложности механизма attention. При увеличении длины контекста объём вычислений растёт пропорционально квадрату числа токенов — это обозначают как O(n²). Несмотря на существование более эффективных подходов, индустрия по-прежнему во многом компенсирует нагрузку увеличением вычислительных ресурсов.

Миллионы токенов и несколько агентов

Участники обсуждают практический приём с несколькими саб-агентами: в одной сессии можно задействовать около тридцати таких агентов и совокупно работать с десятками миллионов токенов контекста. Такой подход позволяет распределять задачи между отдельными процессами, хотя не отменяет ограничений самих моделей и необходимости контролировать полученные результаты.

Ещё один вопрос выпуска — могут ли модели одного семейства «подыгрывать» друг другу. Ведущие рассматривают это как возможный эффект взаимодействия между системами и пытаются отделить реальные особенности поведения моделей от распространённых мифов.

Выпуск рассчитан как на тех, кто только начинает работать с инструментами вроде Claude Code, так и на опытных пользователей, регулярно сбрасывающих сессию при заполнении контекстного окна. Разговор помогает понять, почему сброс иногда улучшает качество работы и какие процессы стоят за ограничениями длинного контекста.