Открытые проекты GPU-unlock снимают ограничения Nvidia на ИИ-вычисления

Разработчики представили открытые проекты GPU-unlock и GPU-unlock-ADA — инструменты, предназначенные для снятия программных ограничений на выполнение отдельных матричных вычислений в видеокартах Nvidia серий RTX 30 и RTX 40.

‹›

Nvidia ограничивает скорость некоторых операций, используемых в нейросетевых нагрузках. Эксперты отрасли считают, что это сделано намеренно: компания стремится разделить игровые ускорители и более дорогие решения для профессиональных ИИ-задач. GPU-unlock обходит такие ограничения без изменения драйвера или прошивки видеокарты.

Инструмент запускается до загрузки драйвера GPU. По утверждению разработчиков, это позволяет повысить производительность тензорных ядер в отдельных сценариях, включая вычисления FP32 и BF16. В зависимости от модели видеокарты и характера нагрузки прирост может достигать 60%.

Наиболее заметный эффект ожидается при работе с локальными моделями для генерации изображений и видео. В таких задачах проекты, по заявлению команды, способны почти на 60% сократить время генерации. Это может быть полезно пользователям, которые запускают нейросети непосредственно на домашнем компьютере и занимаются их дообучением.

При генерации текста с помощью больших языковых моделей прирост значительно меньше или отсутствует. В подобных сценариях производительность часто упирается не только в вычислительные блоки GPU, но и в пропускную способность видеопамяти, оперативной памяти и возможности процессора.

Ограничения проекта

GPU-unlock не увеличивает пропускную способность видеопамяти и не разблокирует дополнительные CUDA-ядра. Поэтому заявленный эффект зависит от конкретной архитектуры, модели видеокарты и используемой нагрузки. Доказательств того, что анлокеры повышают производительность в играх, на данный момент нет.

Основой проекта стали исследования, связанные с разблокировкой прошивок видеокарт Nvidia CMP, предназначенных для майнинга криптовалют. Сейчас команда также работает над экспериментальной версией для Windows. Она должна использовать UEFI вместо модуля Linux.

В текущем виде GPU-unlock и GPU-unlock-ADA представляют интерес прежде всего для владельцев RTX 30 и RTX 40, которые запускают локальные ИИ-модели, генерируют изображения и видео или выполняют другие вычислительноёмкие задачи. При этом результаты требуют проверки на конкретной конфигурации, поскольку универсального прироста для всех сценариев проект не обещает.