Qualcomm: ИИ-компании хотят запускать на смартфонах модели на 100 млрд параметров

Глава Qualcomm Криштиану Амон рассказал, что ведущие компании в сфере искусственного интеллекта рассчитывают к 2028 году запускать на смартфонах модели как минимум на 100 млрд параметров. По его словам, речь идет не о разовых запросах, а о постоянной работе таких систем на устройстве.

В подкасте Sources журналиста Алекса Хита Амон не назвал компании, которые сформулировали этот запрос. При этом он отметил, что некоторые из них уже начинают разрабатывать собственные телефоны. Один из примеров — смартфон с ассистентом Doubao от ByteDance, выпуском которого занимается Nubia. «Будет битва агентов», — заявил глава Qualcomm.

От 20–30 млрд к 100 млрд параметров

Современные мобильные чипы пока заметно отстают от обозначенной цели. Представленный в конце сентября флагманский Snapdragon 8 Elite Extreme Gen 6 способен запускать на устройстве MoE-модель на 30 млрд параметров. Apple в июне представила собственную MoE-модель на 20 млрд параметров.

Таким образом, запрос ИИ-лабораторий означает более чем трехкратное увеличение размера моделей всего за два поколения чипов. При этом устройство должно будет поддерживать их постоянную работу, а не включать модель только после явного запроса пользователя.

Память станет главным ограничением

Первое препятствие — объем оперативной памяти. Модель на 100 млрд параметров в 4-битной квантизации потребует около 50 ГБ только для хранения весов. Это примерно в три-четыре раза больше, чем объем оперативной памяти у типичного современного флагмана. Кроме весов, системе понадобятся место под KV-кэш и ресурсы для работы операционной системы.

Второе ограничение связано с пропускной способностью памяти. При генерации текста языковая модель обычно упирается не в нехватку вычислительных блоков, а в скорость чтения весов из памяти. Если предположить, что будущая система будет разреженной MoE-моделью примерно на 10 млрд активных параметров, обработка каждого токена потребует прочитать около 5 ГБ данных. При пропускной способности мобильной памяти около 100 ГБ/с теоретическая скорость составит примерно 20 токенов в секунду.

Это оценочный расчет, однако он указывает на вероятное развитие архитектур: производителям придется активнее использовать MoE с небольшой долей активных экспертов и повышать пропускную способность следующих поколений памяти LPDDR.

Постоянная работа ударит по батарее

Третья проблема — энергопотребление. Режим always-on предполагает, что модель непрерывно удерживает контекст пользователя, анализирует происходящее и реагирует на события без отдельной команды. Для смартфона это значительно тяжелее, чем обработка короткого вопроса и выдача единичного ответа.

По словам Амона, которые пересказало издание TMTB, цены на память уже выросли в пять-шесть раз и в этом году сокращают продажи смартфонов примерно на 20%. В первую очередь это отражается на среднем и бюджетном сегментах. Если производители начнут устанавливать в телефоны по 64 ГБ оперативной памяти и больше, мобильные устройства станут прямыми конкурентами дата-центров за DRAM. Временный дефицит памяти в таком случае может превратиться в структурную проблему.

Смартфон как платформа для агентов

Амон описывает ИИ-смартфон как устройство, на котором сторонние агенты получают доступ к личному контексту пользователя, его памяти и сенсорам, а затем действуют автономно. По его мнению, такие агенты могут изменить роль смартфона примерно так же, как магазины приложений когда-то определили развитие мобильной платформы.

Локальная обработка решает для разработчиков сразу несколько задач: повышает приватность, уменьшает задержку и переносит стоимость инференса с облачной инфраструктуры на устройство пользователя. Однако в ближайшие два года практичным диапазоном, вероятно, останутся модели на 3–30 млрд параметров с квантизацией. Архитектура приложений при этом будет гибридной: простые операции выполняются локально, а сложные запросы отправляются в облако.

Сам Амон рассматривает смартфон и облачную инфраструктуру как единую вычислительную систему. Для рынка это означает продолжение конкуренции за DRAM и HBM и сохранение высоких цен на память как минимум в течение нескольких следующих кварталов.