Учёные МФТИ разработали алгоритм HARP для ускорения языковых моделей

Специалисты Московского физико-технического института разработали алгоритм HARP, предназначенный для сжатия языковых моделей. По данным «Известий», технология позволяет уменьшать объём моделей почти без потери точности и может примерно вдвое повысить скорость работы ИИ-систем.

Алгоритм также снижает потребность в вычислительных ресурсах и памяти дата-центров. Разработку испытали на языковых моделях Llama и Qwen. При наиболее жёстком варианте сжатия использование HARP позволило уменьшить ошибку на 15%.

Как работает технология

Большие языковые модели требуют значительных вычислительных мощностей. Одним из ограничивающих факторов при их работе становится пропускная способность памяти: системе необходимо постоянно загружать и обрабатывать большие массивы параметров.

Для сокращения объёма данных обычно применяют квантование — представление весов нейросети меньшим количеством битов. Однако чем сильнее сжатие, тем выше риск снижения точности модели. HARP предназначен для того, чтобы уменьшить эти потери.

Алгоритм не заменяет существующие методы квантования, а дополняет их и работает поверх уже применяемых подходов. Благодаря этому разработчикам, как отмечается, не требуется полностью перестраивать привычные инструменты сжатия моделей.

Испытания и доступность

Разработку проверили на моделях разного масштаба, включая Llama и Qwen. Сам алгоритм и уже сжатые с его помощью нейросети доступны для свободного использования.

Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что главным преимуществом HARP является совместимость с существующими методами сжатия. По его словам, более эффективное использование доступных вычислительных мощностей особенно важно для российского рынка: это может ускорить развитие отечественных ИИ-сервисов и их внедрение в различных отраслях экономики.