HARP от МФТИ повышает точность 2-битных языковых моделей и ускоряет их работу примерно вдвое

Результаты исследования опубликованы в виде препринта на arXiv. Код HARP открыт на GitHub, а подготовленные с его помощью модели доступны на Hugging Face.

Большие языковые модели требуют значительных вычислительных ресурсов, а при инференсе — генерации ответов на запросы — производительность часто ограничивается скоростью передачи данных из памяти. Один из способов снизить эту нагрузку — квантование: веса нейросети представляют меньшим числом бит, уменьшая объём памяти, необходимый для хранения модели, и потенциально ускоряя вычисления.

Но чем агрессивнее сжатие, тем выше риск ухудшения качества. Особенно сложным оказывается переход к 2-битному представлению весов. В исходных моделях встречаются так называемые выбросы — значения, заметно отличающиеся по величине от основной массы. Они затрудняют квантование: при выборе диапазона представления приходится учитывать и аномально большие значения, из-за чего остальные веса могут кодироваться менее точно.

Поворот координат вместо переобучения

HARP решает эту проблему, изменяя представление весов перед квантованием. Для каждого слоя алгоритм подбирает собственные структурированные ортогональные преобразования — математические операции, которые меняют координатное представление данных, но позволяют сохранить исходную функцию слоя при корректном обратном преобразовании.

«Когда вы поворачиваете фотографию, изображение остаётся тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места», — пояснил Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.

Практический смысл подхода заключается в том, что преобразование помогает перераспределить значения весов так, чтобы они лучше подходили для последующего квантования. Само по себе ортогональное преобразование не удаляет информацию, однако после округления весов до ограниченного числа бит результат всё равно может отличаться от исходной модели. Задача HARP — сделать эти потери менее существенными.

Алгоритм не заменяет существующие методы квантования, а дополняет их. На начальном этапе калибровки он использует преобразование, предусмотренное базовым конвейером сжатия, а затем адаптирует его к конкретному слою модели и выбранному методу квантования. По замыслу авторов, это позволяет улучшить качество сжатой модели без полного переобучения нейросети.

Проверка на Llama и Qwen

Исследователи протестировали HARP на моделях разных масштабов, включая Llama 2–70B и Qwen3-8B. В экспериментах алгоритм стабильно улучшал показатели по сравнению со стандартным подходом. При наиболее агрессивном, 2-битном квантовании ошибка снижалась на 12–15%. Преимущество метода также проверили на задачах с вопросами и вариантами ответа, оценивающих способность моделей сохранять качество решения задач после сжатия.

При этом дополнительная обработка увеличивает время подготовки модели лишь умеренно: по данным авторов, HARP сохраняет около 90% скорости стандартного процесса сжатия. Разработчики также сообщают, что сжатые модели могут работать примерно в 2,1 раза быстрее исходных полноразмерных версий.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку», — отметил Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.

Чтобы проверить универсальность подхода, исследователи применили HARP и к другому бэкенду квантования — QTIP. По данным команды, метод улучшил результаты и в этом случае. Это указывает на возможность интеграции HARP с разными алгоритмами сжатия, хотя масштаб такой совместимости ещё предстоит подтвердить на более широком наборе моделей и конфигураций.

Что это меняет для развёртывания ИИ

HARP уже доступен для использования: исходный код опубликован на GitHub, а готовые сжатые модели размещены на Hugging Face. Сейчас метод применяется к квантованию весов. В дальнейшем исследователи планируют изучить возможность его распространения на другие компоненты инференса.

Если результаты подтвердятся в практических сценариях, подобные методы позволят запускать крупные языковые модели на менее мощном оборудовании, снижать требования к памяти ускорителей и уменьшать стоимость обслуживания ИИ-сервисов. Особенно заметным эффект может оказаться при развёртывании моделей на локальных серверах и устройствах с ограниченными вычислительными ресурсами.

Однако показатели качества и скорости зависят от архитектуры модели, конкретного метода квантования, аппаратной платформы и выбранных задач. Поэтому снижение ошибки на 12–15% в эксперименте нельзя автоматически трактовать как такое же улучшение ответов в любом приложении. Не менее важно выяснить, насколько выигрыш сохраняется при длительной генерации текста и реальной пользовательской нагрузке.

Сможет ли экстремальное квантование с помощью HARP сделать крупные языковые модели доступными для локального запуска без существенной потери качества — или выигрыш в памяти и скорости по-прежнему будет сопровождаться компромиссами в точности рассуждений?