華爲雲與AI實驗室（計算系統實驗室）週四開源多模態大模型量化框架MACaQ，採用Apache 2.0商用友好協議。報告顯示，它僅需32.5GB設備顯存，可在64分鐘內完成1220億參數模型的量化壓縮。
MACaQ支持通過llama.cpp輸出2比特、3比特與4比特GGUF文件，支持vLLM的W4A4及僅權重量化服務模式，覆蓋Diffusers圖像視頻生成管線以及PyTorch語音處理流程，並記錄針對華爲昇騰CANN內核的適配工作。項目採用逐層獨立校準策略，推理期對激活值施加逐通道縮放與分塊哈達瑪旋轉，隨後將逆變換摺疊回權重中，避免跨層結構改造，新架構模型無需定製工程即可直接套用。
推理提速逾兩倍 實測困惑度優於MR-GPTQ等現有基線
報告稱MACaQ在困惑度基準測試中優於MR-GPTQ和DuQuant++。在Llama-3-8B模型上，MACaQ達到同等最佳困惑度所需量化時間比上述工具減少11倍；在Qwen3.8-27B模型的W4A4量化實測中，其vLLM預填充速度較BF16基線提升2.33倍，解碼速度提升2.58倍，困惑度從2.8463微升至2.8994。獨立開發者SamCodeman週四指出，項目說明未披露產生上述加速比的具體GPU型號、批處理大小與序列長度；32.5GB是指量化過程的顯存佔用而非推理顯存。122B參數旗艦量化模型目前僅公佈Wikitext2困惑度（5.14對比FP16的5.06），尚未提供長上下文或代碼生成實測。
