PS5LM Plus запускает языковые модели на GPU PlayStation 5

Разработчик под никнеймом abhi245y выпустил PS5LM Plus — приложение для локального запуска языковых моделей на графическом процессоре PlayStation 5. В тестах модель Qwen с 27 млрд параметров генерировала около 20 токенов в секунду.

‹›

Запросы к моделям обрабатываются непосредственно на консоли, без отправки данных во внешние облачные сервисы. Управлять запуском можно через веб-интерфейс со смартфона или компьютера, подключённых к той же локальной сети, что и PlayStation 5.

Переход с CPU на GPU

Проект основан на PS5LM, созданном Мертом Кобановым (Mert Cobanov). Ранее разработчик перенёс на PlayStation 5 открытый движок llama.cpp, однако первоначальная версия использовала только центральный процессор. Из-за этого генерация была крайне медленной: Qwen выдавала примерно один токен в минуту, а веса модели динамически загружались с накопителя.

Автор PS5LM Plus переработал исходный проект и выпустил его как отдельное приложение для консоли. Доступный объём памяти вырос с 6 ГБ у фонового модуля до 12 ГБ видеопамяти, а вычисления теперь выполняются с использованием GPU.

Приложение задействует Vulkan-бэкенд библиотеки ggml и порт драйвера RADV из проекта PS5_Vulkan. Чтобы модели помещались в доступную память, используются квантованные версии файлов.

Результаты тестов

Квантованная версия Qwen UD-IQ2_XXS занимает около 6,8 ГБ и генерирует в среднем 20,7 токена в секунду при контекстном окне в 64 тысячи токенов. Вариант UD-Q2_K_XL размером 9,2 ГБ показывает скорость около 20,3 токена в секунду при контексте до 32 тысяч токенов.

В тестах также проверили более компактные модели: Gemma 4 E4B достигла скорости 61 токен в секунду, а Llama 3.2 3B — 124 токена в секунду.

PS5LM Plus поддерживает модели в формате GGUF. Файлы можно загружать с внутреннего накопителя консоли, внешнего USB-диска, дополнительного M.2 SSD в слоте расширения или из репозитория Hugging Face.

На экран телевизора приложение выводит скорость генерации, загрузку процессора, энергопотребление и температуру консоли. Для подключения сторонних программ предусмотрен совместимый с OpenAI API. Проект распространяется по лицензии GPL-3.0.

Запуск PS5LM Plus возможен только на взломанной PlayStation 5 с установленными etaHEN, kstuff и ShadowMountPlus.