Сэм Альтман назвал локальный инференс неэффективным в условиях дефицита памяти

Глава OpenAI Сэм Альтман заявил, что локальный инференс — запуск ИИ-моделей непосредственно на пользовательских устройствах — представляет собой крайне неэффективное использование ограниченных вычислительных ресурсов.

По его словам, распространённая логика заключается в том, что появление моделей с открытыми весами позволяет отказаться от мощностей дата-центров. Однако в глобальном масштабе такой подход, считает Альтман, приводит к нерациональному распределению памяти и вычислительных ресурсов.

Основная претензия руководителя OpenAI связана с оперативной памятью. Значительная часть мирового запаса DRAM оказывается установленной в пользовательских компьютерах и используется, по его оценке, лишь около пяти процентов времени. В условиях дефицита ресурсов Альтман предлагает добиваться более высокой загрузки мощностей в облачной инфраструктуре.

Он отметил, что общественная интуиция в этом вопросе часто подсказывает обратное: пользователи воспринимают локальный запуск как более экономичный и независимый от крупных облачных платформ. При этом с точки зрения суммарного использования мировых ресурсов распределённая инфраструктура дата-центров, по мнению Альтмана, может оказаться эффективнее.

Ситуация осложняется тем, что сама OpenAI стала одним из участников борьбы за ресурсы для ИИ-индустрии. Компания заказала у Samsung и SK Hynix 40% мирового производства DRAM. На этом фоне контрактные цены на память выросли на 171%.

В то же время доступность моделей с открытыми весами показывает, почему локальный инференс продолжает оставаться востребованным. Модель qwen3.8–27b, согласно приведённым данным, сопоставима по результатам с лучшими моделями недавнего прошлого, не отправляет данные в облако и запускается на системах с 16–24 ГБ видеопамяти.

Ещё более лёгким вариантом называется Ling-3.0-tiny: для её работы достаточно 8 ГБ видеопамяти. Такие требования позволяют запускать современные модели на относительно доступном оборудовании и сохранять данные внутри пользовательской системы.

Таким образом, спор о локальном инференсе сводится не только к производительности отдельных моделей. На одном уровне находятся эффективность глобальной инфраструктуры и загрузка дефицитной памяти, а на другом — приватность, автономность и возможность пользоваться ИИ без подключения к облачным сервисам.