量化 122B,一次只裝一層
量化一個 122B 模型只要 64 分鐘、32.5 GB 顯示記憶體——因為它不把旋轉矩陣跨層傳播,每層獨立,一次只裝一層。權重留在主機記憶體;在 32B 上量到的代價是推論多 2.3%。MACaQ-R 在一個 35B GGUF 上把 KL 修低 15%,前提是有 FP16 原檔。
數字來自 arXiv 2611.10649(v1 11-07、v2 11-11)與官方程式庫 README。作者是華為 Cloud & AI Lab;程式庫是 Apache 2.0。我們沒有獨立重跑,「我認為」的地方會標出來。MACaQ-R 的 R 是 refine。
論文:arXiv 2611.10649|程式庫:huawei-csl/MACaQ
先講一個畫面
量化一個 122B 模型,64 分鐘、32.5 GB 顯示記憶體,一台單卡機就夠。就算你手上沒有 122B 也沒關係。同一套做法讓 MACaQ-R 能修好你已經下載的那個 GGUF。
這件事以前得先有「放得下 244 GB」的機器。
Qwen3.5-122B-A10B 的 FP16 權重是 244 GB。它是 96 GB 卡的 2.5 倍,兩張放不下,三張才勉強。
量化聽起來是「把模型變小」。但量化這個動作本身,得先有模型。旋轉、校準、算 Hessian,每一樣都吃記憶體。Hessian 用來估計「這個權重改一點,輸出會被影響多少」。
所以大模型量化卡住的地方,常常不是算力,是「你得先裝得下它」。
MACaQ 換了一個順序:一次只需要一層在 GPU 上。其餘的權重留在主機記憶體,用完就換下一層。
這篇講三件事。舊方法為什麼被記憶體卡住。它把哪個成本搬到推論時、代價多少。還有你手上那個 GGUF(llama.cpp 的模型檔格式)怎麼變好。
量化 122B,要先裝得下 122B
先講為什麼量化大模型要旋轉。
權重和激活裡總有幾個特別大的值。壓到 4-bit 時,一個離群值會把整組的尺度撐大。其他值就被壓成同一個格子。
(這裡的 4-bit 是 MXFP4,一種 4-bit 浮點。每 32 個值共用一個 2 的冪次尺度。)
做法是先把資料旋轉一下。旋轉不改變矩陣乘法的結果,但會把離群值攤開。每個座標看起來比較像鐘形分布,格點才夠用。
問題在「什麼時候旋轉」。
QuaRot、SpinQuant、DuQuant++ 都是這一類。它們把旋轉矩陣融進相鄰層的權重。推論時幾乎不用多做,旋轉已經變成權重的一部分。這是它們最漂亮的地方。
代價在量化時。旋轉要跨層傳遞,你得知道這個模型的層怎麼排。attention 的輸出投影在哪、residual 從哪裡加回來。架構不同,融法就不同。
而且層跟層之間有了依賴,量化時就沒辦法「只看一層」。
把成本放在量化時還是推論時,是這個領域主要的分岔。沒有誰比較笨。
表 1:四種做法的旋轉放在哪
| 方法 | 旋轉放哪 | 量化時跨層 | 只裝一層 | 推論成本 |
|---|---|---|---|---|
| QuaRot | 融進相鄰層權重 | 要 | 不行 | 幾乎不另做 |
| SpinQuant | 融進相鄰層權重(旋轉可學習) | 要 | 不行 | 幾乎不另做 |
| DuQuant++ | 融進相鄰層權重 | 要 | 不行 | 幾乎不另做 |
| MACaQ | 推論時線上做 | 不用 | 可以 | 多 2.3% |
表 1 是概念對照,不是本文的實測名單。這篇只拿 DuQuant++ 與 MR-GPTQ 對照;論文另外也比了 QuaRot 與 FlatQuant。
它要講的只有一件事。MACaQ 不是更聰明的旋轉,是把旋轉換到另一個時間點。
它把旋轉留在推論時做
MACaQ 選了另一邊:旋轉不融進權重,留在推論時算。
每一層的 activation 進來,先乘上一個 per-channel 尺度。接著做 block-Hadamard 轉換。Hadamard 是快速、可逆的線性變換,負責把離群值攤平。
權重那邊,預先把反轉換吸收掉。所以結果等價,只是把同一份乘法從量化時搬到推論時。
關鍵不是省不省,是誰依賴誰。
旋轉留線上之後,每一層只需要自己的權重、自己的 activation 統計。層與層之間沒有依賴了。
於是量化可以串流。搬一層進 GPU、算完、寫出去、釋放,再搬下一層。同一時間,GPU 上只有一層。
論文的做法是 lazy loading,其餘權重留在主機記憶體。原文的說法很直白:只有正在處理的那一層需要待在 GPU 上。
表 2:Qwen3.5-122B-A10B 這次的數字(論文 §Large-Model Quantization)
| 項目 | 數字 |
|---|---|
| 總參數 | 122B(MoE 混合專家,A10B 是每次啟用的參數) |
| FP16 權重 | 約 244 GB |
| 機器 | 單張 96 GB GPU(只給 504 TFLOPS FP16、1.79 TB/s,不寫型號) |
| 量化時 GPU 峰值 | 32.5 GB |
| 量化時間 | 64 分鐘(32 flips、512K 校準 token) |
| WikiText-2 困惑度 | 5.14(FP16 是 5.06) |
| 量化後推論需求 | 74 GB,同一張卡跑得起來 |
如圖 1,左邊是「旋轉跟著層走」,量化時兩層互相依賴。右邊是「旋轉留在線上」,同一時間只有一層在 GPU 裡。
讀者最容易誤讀的一格是 32.5 GB。那是顯示記憶體的高峰,不是全部。那 244 GB 的 FP16 權重還在主機記憶體裡,只是不用同時進 GPU。
所以真正的門檻是「一張夠大的卡,加一台夠大的主機」。不是「32.5 GB 就夠」。這點很容易漏。
還有一件事:它不改架構。同一套流程拿去跑影像模型也行。程式庫列了三個範例。FLUX.2 Klein 4B 是影像,Wan2.2 是影片,stable-audio 是音訊。論文自己只示範了一個影像模型,說法是「不需要針對架構做修改」。
我認為對手上什麼模型都有的人,這個「模型無關」比 64 分鐘更有價值。
代價:多 2.3%
線上做轉換不是免費的。相對純 MXFP4,Qwen3-32B 在 vLLM 上端到端多 2.3%。122B 那組,論文沒有量推論開銷。
論文另外用一張圖拆給你看。這個開銷在 decode 端量:batch 1、context 512。模型越大,占比越小,因為矩陣乘法越久,旋轉那幾個乘法相對越輕。
我認為這 2.3% 買到的是「不用理解架構」。這是整篇的樞紐。
另一組常被搞混的數字在表 3。模型是 Qwen3.8-27B,後端是 vLLM。相對 BF16,prefill 是 2.33×、decode 是 2.58×。
這是「相對 BF16 的吞吐量」。數字是 2.33×/2.58×,不是「相對 MXFP4 快 2.33 倍」。兩個基準差很遠,寫混了整段就報廢。
表 3:Qwen3.8-27B 在 vLLM 上的品質與速度(官方 README,基準 BF16 = 1.00×)
| 精度 | 困惑度 ↓(README 未寫資料集) | prefill | decode |
|---|---|---|---|
| BF16 | 2.8463 | 1.00× | 1.00× |
| MACaQ W4A4 | 2.8994 | 2.33× | 2.58× |
W4A4 的意思是權重 4-bit、激活也 4-bit。困惑度從 2.8463 到 2.8994,是 +1.9%。這不是「幾乎無損」,是「有損但很便宜」。
表 3 的數字來自官方 README,跟表 2 不是同一組實驗。別跨表比。
同樣的品質,時間少一截
4-bit 的格點有限。四捨五入(round-to-nearest,RTN)選最近的格子。它只看自己,不看別人。
MACaQ 多做一步:翻一個碼。
做法是把單一 FP4 碼挪到相鄰的可表示值。不是重新量化,只是換一格。
要不要翻,由整層的損失決定。用 Hessian 近似:這一格改了,輸出會被影響多少。然後貪心地翻,一次一個。
為什麼便宜?候選只有左邊那格和右邊那格。搜尋空間小,不用做連續最佳化。
有兩個旋鈕:翻幾輪(flips),和用多少校準 token。要快就少翻,要好就多翻。表 4 是論文附錄逐格往上爬的原始數字(Llama-3-8B)。
表 4:Llama-3-8B 的取捨(MXFP4 W4A4,WikiText-2 困惑度)
| 設定 | 量化時間 | 困惑度 ↓ |
|---|---|---|
| FP16(不量化,參考) | — | 6.14 |
| RTN:只四捨五入 | 2.2 秒 | 8.29 |
| MACaQ:0 flips(旋轉+指數篩選) | 5.5 秒 | 7.64 |
| MACaQ:1 塊校準(2048 token) | 14.8 秒 | 7.11 |
| MACaQ:128 flips、31 塊 | 88.1 秒 | 6.91 |
| MACaQ:512 flips、977 塊 | 636.9 秒 | 6.85 |
| MR-GPTQ:128 塊 | 319.1 秒 | 7.11 |
| DuQuant++(GPTQ):128 塊 | 624.4 秒 | 7.16 |
MACaQ 那幾列是同一條曲線上的不同取捨,校準量不一樣。MR-GPTQ 與 DuQuant++ 那兩列是各自的 128 塊設定。別逐列比速度,那是不同預算下的單點。論文自己的公平對照是 128 flips、約 20 萬 token,Llama-3-8B 上約 150 秒,落在 6.90。
這張表比一個「快 11×」的標題有用。你可以直接挑自己的那一列。
摘要的說法是:在 Llama-3-8B 上打平對手最好的困惑度,時間只要 1/11。我們不換算成一個比值放進文章。表 4 是逐格往上爬的單點,摘要那條是曲線。要選型,看表。
如圖 2,翻一個碼的意思:四捨五入選最近的格子,翻碼是換到隔壁一格。但那次換要不要做,看的是整層的損失。
還有一件事要講清楚:這不是「4-bit 無損」。最好的設定也是 6.14 變 6.85,困惑度多了大約 12%。RTN 是 8.29。兩者都是「有損」,差別在損失多少、以及你願不願意付時間。
你手上那個 GGUF,可以修
上面講的是「重新量化一個模型」。多數人手上沒有那個情境,只有一堆下載好的 GGUF。
MACaQ-R 是給這個情境的。拿一個現成的 GGUF,配它的 FP16 原檔當 teacher。跑一次 refine。
碼重排,格式與 block scale 都不動。所以修完的檔案,用標準 llama.cpp 就能跑。
表 5:Qwen3.6-35B-A3B 的 MACaQ-R 前後(官方 README 自測)
| 版本 | GGUF 大小 | 對 FP16 的 KL 散度 ↓ |
|---|---|---|
| Unsloth UD-Q4_K_XL | 22.36 GB | 0.015731 |
| MACaQ-R Q4_K_XL | 22.36 GB | 0.013367 |
KL 散度是「兩個分布差多少」,越低越好。同一個大小,從 0.015731 降到 0.013367,低 15.0%。檔案沒變大,執行方式也沒變。換的只是每一格碼選哪個值。
指令是 README 原文,四行:
.venv-llamacpp/bin/python llamacpp/macaq.py refine \
--model models/model-q4.gguf --hf models/original \
--teacher models/original-f16.gguf --calibration data/calibration.txt \
--output models/model-macaq-r.gguf --work-dir work/refinement
修完直接跑,後端不用換:
llama cli -m models/model-macaq-r.gguf
llama.cpp 不同版本的執行檔名稱不一樣。舊版是 llama-cli,照你裝的那個用。
看起來簡單,前置條件不簡單。README 有寫的三條:
- 要 Python 3.12,而且每個 backend 一個獨立環境。不是
pip install就結束 - 要 FP16 原檔當 teacher。只有 GGUF、沒有原檔的人,這一步就卡住
- 要一份校準文字檔,以及對應的原始權重目錄
還有一個限制。表 5 只有一組對照,單一模型、單一 baseline。不能推廣成「所有 GGUF 都能改善 15%」。 你的模型可能進步更多,也可能沒差。要判斷,只能自己量 KL。
修完之後跑多快,不是這篇的主題。那取決於位元寬與 kernel 怎麼寫。系列裡寫過:量化會不會加速,取決於你怎麼寫 kernel。
別過度解讀
論文自己把代價寫在 Limitations 第一句。layer-local 的設計,意味著跨層錯誤補償做不到。要補,就得再加一趟跨層統計的 pass。那大概會退回其他方法的時間。
這是設計上的取捨,不是疏忽。
其他該知道的:
- 沒有第三方複現。 11-07 首發,對照的 DuQuant++、MR-GPTQ 都是作者自己跑的
- W4A4 的公開數字集中在少數模型。 別把 Qwen3.8-27B 的 +1.9% 當通則
- MoE 只量化 expert 層。 另外 embeddings 與 lm-head 在所有模型上都不量化
- 122B 那組的預算跟其他實驗不同:32 flips、512K 校準 token;公平對照時用的是 128 flips、約 20 萬 token
- Qwen3.5/3.6/3.8 是不同世代,數字不要互相對照
- Ascend 不是開箱即用。 要 CANN 與
torch_npu。官方只給 kernel PR,整模型還要接推理 runtime - 32.5 GB 是顯示記憶體,不是全部。 你的主機要有地方放那 244 GB
還有那個 +2.3%:它是對「純 MXFP4」算的。如果你的比較基準是 BF16,MACaQ 還是快兩倍多(表 3)。同一個方法,換一個分母,結論就換一個方向。
明天可以做的三件事
- 先量基準。如果你手上已經有一個 GGUF,配 FP16 原檔算一次 KL,就有自己的一條線。README 沒有附量 KL 的腳本,得自己找。沒有基準,任何「低 15%」都是別人的數字。也先確認你手上那個不是壞的,見你下載的量化模型可能是壞的。
- 跑一次 refine。有原檔就跑,跑完用你平常那支 llama.cpp 跑同一題,比輸出。沒變好,你只損失一次 refine 的時間。
- 要自己量化 100B 級模型的人,現在一台單卡機就夠。 前提是主機記憶體放得下 FP16 權重。
如果只是想在自己電腦上跑大模型,先看125B 模型怎麼跑在 12GB 顯卡上。那是另一條路:不改權重,改誰在什麼時候被載入。
量化的門檻換了位置:從一張卡,搬到一台主機。