BroadRouter
Начать

AWQ (activation-aware weight quantization)

Обновлено

AWQ (activation-aware weight quantization) — это метод посттренировочной квантизации, который сжимает веса LLM до низкой точности, обычно до 4-битных целых. По статистике активаций на небольшом калибровочном наборе он находит самые важные каналы весов и масштабирует их, чтобы они меньше теряли в точности. Обратное распространение ему не нужно.

Также называют: AWQ, квантизация AWQ, квантование AWQ, AWQ-квантизация, квантизация с учётом активаций, activation-aware weight quantization, AWQ quantization

4-битная модель занимает примерно четверть объёма своего 16-битного оригинала. AWQ — один из самых популярных способов добиться этого без заметной потери качества.

Как это работает

Обычная квантизация округляет каждый вес до небольшого набора значений. Но одни веса важнее других, и их округление вредит сильнее всего. Главный вывод статьи об AWQ: “Protecting only 1% salient weights can greatly reduce quantization error” (перевод: «Защита всего 1% значимых весов может сильно уменьшить ошибку квантизации»), а чтобы найти эти веса, “we should refer to the activation distribution, not weights” (перевод: «следует смотреть на распределение активаций, а не весов»).

Шаги в общих чертах:

  1. Прогнать небольшой калибровочный набор через модель в полной точности и записать величину активаций по каналам.
  2. Увеличить масштаб значимых каналов весов с помощью того, что в статье называется “an equivalent transformation” (перевод: «эквивалентное преобразование»), чтобы округление обходилось им дешевле, а выход слоя не менялся. Это позволяет обойтись без “hardware-inefficient mix-precision quantization” (перевод: «неэффективной для железа квантизации со смешанной точностью»).
  3. Округлить все веса до низкой точности, обычно до 4-битных целых с масштабом на каждую группу весов.

Авторы подчёркивают, что “AWQ does not rely on any backpropagation or reconstruction” (перевод: «AWQ не опирается ни на обратное распространение, ни на реконструкцию»), поэтому метод “generalizes to different domains and modalities” (перевод: «обобщается на разные домены и модальности») и не переобучается на калибровочном наборе. Статья получила премию MLSys 2024 Best Paper Award.

В vLLM заранее квантизованный чекпойнт AWQ загружается одним аргументом:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

Страница vLLM описывает формат как сокращение весов “from BF16/FP16 to INT4” (перевод: «с BF16/FP16 до INT4») и предупреждает: “The AutoAWQ library is deprecated” (перевод: «Библиотека AutoAWQ устарела»); новые модели AWQ создаются с помощью llm-compressor от vLLM.

Почему это важно

  • Память и стоимость. Компактные веса помещаются на меньшее число GPU или на более дешёвые GPU и оставляют больше памяти под KV-кэш, а значит, больше одновременных запросов.
  • Скорость. При декодировании на каждый токен читаются все веса, поэтому меньший размер весов может ускорить вывод. Авторы сообщают, что их среда выполнения TinyChat даёт “more than 3x speedup over the Huggingface FP16 implementation” (перевод: «более чем трёхкратное ускорение по сравнению с реализацией FP16 в Huggingface»).
  • Те же веса, другие результаты. Два хостинга, которые обслуживают «одну и ту же модель», могут использовать разную квантизацию. Сравнивая качество, спрашивайте провайдера, какой формат он использует.

AWQ квантизует только веса. Этим он отличается от FP8, который может квантизовать и активации, и от GGUF — формата файлов со своими типами квантизации для llama.cpp.

В BroadNet Inference

BroadNet сообщает, что обслуживает Gemma 4 VL 26B с 4-битными весами AWQ, которые квантизовала сама, вместе со спекулятивным декодированием на основе предсказания нескольких токенов (k=2) и KV-кэшем в fp8. По данным страницы модели, BroadNet тестировала NVFP4 и отказалась от него после прямого сравнения. Ещё BroadNet сообщает, что те же веса Gemma 4 у стороннего хостинг-провайдера в среднем набрали на 0,13 меньше, чем при её собственном обслуживании (по какой метрике и шкале, BroadNet не уточняет); подробности — в статье о парке GPU и обслуживании моделей. Формат квантизации остальных моделей в API BroadNet не публикует. Если вы планируете запускать веса AWQ сами, расчёты есть в сравнении стоимости самостоятельного хостинга и API.

Вопросы и ответы

AWQ и INT4 — это одно и то же?

AWQ — метод, INT4 — числовой формат. AWQ обычно даёт 4-битные целочисленные веса, так что модель AWQ — одна из разновидностей INT4-моделей. 4-битные веса дают и другие методы, например GPTQ или типы квантизации GGUF.

Снижает ли AWQ качество?

Любая квантизация в малое число бит может его снизить. Авторы AWQ сообщают, что защита примерно 1% значимых весов сильно уменьшает ошибку квантизации, но квантизованную модель всё равно стоит проверить на своих промптах.

Можно ли запускать модели AWQ в vLLM?

Да. В документации vLLM показано, как загрузить заранее квантизованный чекпойнт AWQ. Там же отмечено, что библиотека AutoAWQ устарела, а для создания новых моделей AWQ рекомендуется проект llm-compressor от vLLM.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity