OpenAI увеличила срок хранения кэша промптов до 12 часов

OpenAI обновила механизм кэширования промптов: теперь кэш входного контекста можно сохранять минимум на 12 часов вместо стандартных 30 минут. Новая настройка рассчитана прежде всего на длительные агентные задачи, в которых модель многократно обращается к одним и тем же инструкциям, описаниям инструментов и истории работы.

Раньше после продолжительного перерыва кэш мог перестать использоваться, и модели приходилось заново обрабатывать общий контекст. Это увеличивало задержку и расходы, особенно в многошаговых сценариях. Увеличенный срок хранения позволяет повторно использовать контекст спустя несколько часов бездействия — при условии, что последующие запросы содержат подходящий неизменённый префикс.

Как работает новый срок хранения

Для поддерживаемых моделей в Responses API появился параметр prompt_cache_options.ttl. Он принимает два значения: 30m для хранения кэша в течение 30 минут и 12h для хранения в течение 12 часов.

Продление срока хранения влияет на стоимость записи кэша. Для 30-минутного режима она составляет 1,25 обычной стоимости входных токенов, а для 12-часового — 2,5. Это полная цена записи кэша, а не дополнительная комиссия поверх базового тарифа.

Повторное чтение сохранённого кэша по-прежнему тарифицируется по сниженной ставке. Поэтому 12-часовой режим может оказаться выгоднее, если один и тот же контекст используется спустя несколько часов. При этом экономия не гарантирована: результат зависит от частоты запросов и объёма повторно используемых данных.

Зачем это нужно агентам

Длительные сессии Codex и других ИИ-агентов могут включать десятки последовательных запросов с общим контекстом. Если после каждого продолжительного перерыва кэш приходится создавать заново, растут и расходы, и время обработки.

Увеличенный TTL позволяет сохранять общий контекст между такими обращениями и не повторять его полную обработку. Это особенно актуально для задач, где агент возвращается к проекту через несколько часов, продолжает работу с теми же инструментами или выполняет длинную цепочку связанных действий.