量化 122B,一次只裝一層

量化一個 122B 模型只要 64 分鐘、32.5 GB 顯示記憶體——因為它不把旋轉矩陣跨層傳播,每層獨立,一次只裝一層。權重留在主機記憶體;在 32B 上量到的代價是推論多 2.3%。MACaQ-R 在一個 35B GGUF 上把 KL 修低 15%,前提是有 FP16 原檔。

14 分鐘Read in English
quantizationlocal-llmgguf
標題「量化 122B,一次只裝一層」的技術筆記封面

數字來自 arXiv 2611.10649(v1 11-07、v2 11-11)與官方程式庫 README。作者是華為 Cloud & AI Lab;程式庫是 Apache 2.0。我們沒有獨立重跑,「我認為」的地方會標出來。MACaQ-R 的 R 是 refine。

論文:arXiv 2611.10649|程式庫:huawei-csl/MACaQ

先講一個畫面

量化一個 122B 模型,64 分鐘、32.5 GB 顯示記憶體,一台單卡機就夠。就算你手上沒有 122B 也沒關係。同一套做法讓 MACaQ-R 能修好你已經下載的那個 GGUF。

這件事以前得先有「放得下 244 GB」的機器。

Qwen3.5-122B-A10B 的 FP16 權重是 244 GB。它是 96 GB 卡的 2.5 倍,兩張放不下,三張才勉強。

量化聽起來是「把模型變小」。但量化這個動作本身,得先有模型。旋轉、校準、算 Hessian,每一樣都吃記憶體。Hessian 用來估計「這個權重改一點,輸出會被影響多少」。

所以大模型量化卡住的地方,常常不是算力,是「你得先裝得下它」。

MACaQ 換了一個順序:一次只需要一層在 GPU 上。其餘的權重留在主機記憶體,用完就換下一層。

這篇講三件事。舊方法為什麼被記憶體卡住。它把哪個成本搬到推論時、代價多少。還有你手上那個 GGUF(llama.cpp 的模型檔格式)怎麼變好。

量化 122B,要先裝得下 122B

先講為什麼量化大模型要旋轉。

權重和激活裡總有幾個特別大的值。壓到 4-bit 時,一個離群值會把整組的尺度撐大。其他值就被壓成同一個格子。

(這裡的 4-bit 是 MXFP4,一種 4-bit 浮點。每 32 個值共用一個 2 的冪次尺度。)

做法是先把資料旋轉一下。旋轉不改變矩陣乘法的結果,但會把離群值攤開。每個座標看起來比較像鐘形分布,格點才夠用。

問題在「什麼時候旋轉」。

QuaRot、SpinQuant、DuQuant++ 都是這一類。它們把旋轉矩陣融進相鄰層的權重。推論時幾乎不用多做,旋轉已經變成權重的一部分。這是它們最漂亮的地方。

代價在量化時。旋轉要跨層傳遞,你得知道這個模型的層怎麼排。attention 的輸出投影在哪、residual 從哪裡加回來。架構不同,融法就不同。

而且層跟層之間有了依賴,量化時就沒辦法「只看一層」。

把成本放在量化時還是推論時,是這個領域主要的分岔。沒有誰比較笨。

表 1:四種做法的旋轉放在哪

方法旋轉放哪量化時跨層只裝一層推論成本
QuaRot融進相鄰層權重要不行幾乎不另做
SpinQuant融進相鄰層權重(旋轉可學習)要不行幾乎不另做
DuQuant++融進相鄰層權重要不行幾乎不另做
MACaQ推論時線上做不用可以多 2.3%

表 1 是概念對照,不是本文的實測名單。這篇只拿 DuQuant++ 與 MR-GPTQ 對照;論文另外也比了 QuaRot 與 FlatQuant。

它要講的只有一件事。MACaQ 不是更聰明的旋轉,是把旋轉換到另一個時間點。

它把旋轉留在推論時做

MACaQ 選了另一邊:旋轉不融進權重,留在推論時算。

每一層的 activation 進來,先乘上一個 per-channel 尺度。接著做 block-Hadamard 轉換。Hadamard 是快速、可逆的線性變換,負責把離群值攤平。

權重那邊,預先把反轉換吸收掉。所以結果等價,只是把同一份乘法從量化時搬到推論時。

關鍵不是省不省,是誰依賴誰。

旋轉留線上之後,每一層只需要自己的權重、自己的 activation 統計。層與層之間沒有依賴了。

於是量化可以串流。搬一層進 GPU、算完、寫出去、釋放,再搬下一層。同一時間,GPU 上只有一層。

論文的做法是 lazy loading,其餘權重留在主機記憶體。原文的說法很直白:只有正在處理的那一層需要待在 GPU 上。

表 2:Qwen3.5-122B-A10B 這次的數字(論文 §Large-Model Quantization)

項目數字
總參數122B(MoE 混合專家,A10B 是每次啟用的參數)
FP16 權重約 244 GB
機器單張 96 GB GPU(只給 504 TFLOPS FP16、1.79 TB/s,不寫型號)
量化時 GPU 峰值32.5 GB
量化時間64 分鐘(32 flips、512K 校準 token)
WikiText-2 困惑度5.14(FP16 是 5.06)
量化後推論需求74 GB,同一張卡跑得起來

如圖 1,左邊是「旋轉跟著層走」,量化時兩層互相依賴。右邊是「旋轉留在線上」,同一時間只有一層在 GPU 裡。

圖 1:左邊的轉換跟著層走,量化時要跨層處理;右邊把轉換留到推論,一層進、一層出。

讀者最容易誤讀的一格是 32.5 GB。那是顯示記憶體的高峰,不是全部。那 244 GB 的 FP16 權重還在主機記憶體裡,只是不用同時進 GPU。

所以真正的門檻是「一張夠大的卡,加一台夠大的主機」。不是「32.5 GB 就夠」。這點很容易漏。

還有一件事:它不改架構。同一套流程拿去跑影像模型也行。程式庫列了三個範例。FLUX.2 Klein 4B 是影像,Wan2.2 是影片,stable-audio 是音訊。論文自己只示範了一個影像模型,說法是「不需要針對架構做修改」。

我認為對手上什麼模型都有的人,這個「模型無關」比 64 分鐘更有價值。

代價:多 2.3%

線上做轉換不是免費的。相對純 MXFP4,Qwen3-32B 在 vLLM 上端到端多 2.3%。122B 那組,論文沒有量推論開銷。

論文另外用一張圖拆給你看。這個開銷在 decode 端量:batch 1、context 512。模型越大,占比越小,因為矩陣乘法越久,旋轉那幾個乘法相對越輕。

我認為這 2.3% 買到的是「不用理解架構」。這是整篇的樞紐。

另一組常被搞混的數字在表 3。模型是 Qwen3.8-27B,後端是 vLLM。相對 BF16,prefill 是 2.33×、decode 是 2.58×。

這是「相對 BF16 的吞吐量」。數字是 2.33×/2.58×,不是「相對 MXFP4 快 2.33 倍」。兩個基準差很遠,寫混了整段就報廢。

表 3:Qwen3.8-27B 在 vLLM 上的品質與速度(官方 README,基準 BF16 = 1.00×)

精度困惑度 ↓(README 未寫資料集)prefilldecode
BF162.84631.00×1.00×
MACaQ W4A42.89942.33×2.58×

W4A4 的意思是權重 4-bit、激活也 4-bit。困惑度從 2.8463 到 2.8994,是 +1.9%。這不是「幾乎無損」,是「有損但很便宜」。

表 3 的數字來自官方 README,跟表 2 不是同一組實驗。別跨表比。

同樣的品質,時間少一截

4-bit 的格點有限。四捨五入(round-to-nearest,RTN)選最近的格子。它只看自己,不看別人。

MACaQ 多做一步:翻一個碼。

做法是把單一 FP4 碼挪到相鄰的可表示值。不是重新量化,只是換一格。

要不要翻,由整層的損失決定。用 Hessian 近似:這一格改了,輸出會被影響多少。然後貪心地翻,一次一個。

為什麼便宜?候選只有左邊那格和右邊那格。搜尋空間小,不用做連續最佳化。

有兩個旋鈕:翻幾輪(flips),和用多少校準 token。要快就少翻,要好就多翻。表 4 是論文附錄逐格往上爬的原始數字(Llama-3-8B)。

表 4:Llama-3-8B 的取捨(MXFP4 W4A4,WikiText-2 困惑度)

設定量化時間困惑度 ↓
FP16(不量化,參考)—6.14
RTN:只四捨五入2.2 秒8.29
MACaQ:0 flips(旋轉+指數篩選)5.5 秒7.64
MACaQ:1 塊校準(2048 token)14.8 秒7.11
MACaQ:128 flips、31 塊88.1 秒6.91
MACaQ:512 flips、977 塊636.9 秒6.85
MR-GPTQ:128 塊319.1 秒7.11
DuQuant++(GPTQ):128 塊624.4 秒7.16

MACaQ 那幾列是同一條曲線上的不同取捨,校準量不一樣。MR-GPTQ 與 DuQuant++ 那兩列是各自的 128 塊設定。別逐列比速度,那是不同預算下的單點。論文自己的公平對照是 128 flips、約 20 萬 token,Llama-3-8B 上約 150 秒,落在 6.90。

這張表比一個「快 11×」的標題有用。你可以直接挑自己的那一列。

摘要的說法是:在 Llama-3-8B 上打平對手最好的困惑度,時間只要 1/11。我們不換算成一個比值放進文章。表 4 是逐格往上爬的單點,摘要那條是曲線。要選型,看表。

如圖 2,翻一個碼的意思:四捨五入選最近的格子,翻碼是換到隔壁一格。但那次換要不要做,看的是整層的損失。

圖 2:格點之間只有鄰居可選,所以「翻一個碼」很便宜;貴的是判斷要不要翻——那要算整層的損失。示意圖,位置不是論文實測值。

還有一件事要講清楚:這不是「4-bit 無損」。最好的設定也是 6.14 變 6.85,困惑度多了大約 12%。RTN 是 8.29。兩者都是「有損」,差別在損失多少、以及你願不願意付時間。

你手上那個 GGUF,可以修

上面講的是「重新量化一個模型」。多數人手上沒有那個情境,只有一堆下載好的 GGUF。

MACaQ-R 是給這個情境的。拿一個現成的 GGUF,配它的 FP16 原檔當 teacher。跑一次 refine。

碼重排,格式與 block scale 都不動。所以修完的檔案,用標準 llama.cpp 就能跑。

表 5:Qwen3.6-35B-A3B 的 MACaQ-R 前後(官方 README 自測)

版本GGUF 大小對 FP16 的 KL 散度 ↓
Unsloth UD-Q4_K_XL22.36 GB0.015731
MACaQ-R Q4_K_XL22.36 GB0.013367

KL 散度是「兩個分布差多少」,越低越好。同一個大小,從 0.015731 降到 0.013367,低 15.0%。檔案沒變大,執行方式也沒變。換的只是每一格碼選哪個值。

指令是 README 原文,四行:

.venv-llamacpp/bin/python llamacpp/macaq.py refine \
  --model models/model-q4.gguf --hf models/original \
  --teacher models/original-f16.gguf --calibration data/calibration.txt \
  --output models/model-macaq-r.gguf --work-dir work/refinement

修完直接跑,後端不用換:

llama cli -m models/model-macaq-r.gguf

llama.cpp 不同版本的執行檔名稱不一樣。舊版是 llama-cli,照你裝的那個用。

看起來簡單,前置條件不簡單。README 有寫的三條:

  • 要 Python 3.12,而且每個 backend 一個獨立環境。不是 pip install 就結束
  • 要 FP16 原檔當 teacher。只有 GGUF、沒有原檔的人,這一步就卡住
  • 要一份校準文字檔,以及對應的原始權重目錄

還有一個限制。表 5 只有一組對照,單一模型、單一 baseline。不能推廣成「所有 GGUF 都能改善 15%」。 你的模型可能進步更多,也可能沒差。要判斷,只能自己量 KL。

修完之後跑多快,不是這篇的主題。那取決於位元寬與 kernel 怎麼寫。系列裡寫過:量化會不會加速,取決於你怎麼寫 kernel。

別過度解讀

論文自己把代價寫在 Limitations 第一句。layer-local 的設計,意味著跨層錯誤補償做不到。要補,就得再加一趟跨層統計的 pass。那大概會退回其他方法的時間。

這是設計上的取捨,不是疏忽。

其他該知道的:

  • 沒有第三方複現。 11-07 首發,對照的 DuQuant++、MR-GPTQ 都是作者自己跑的
  • W4A4 的公開數字集中在少數模型。 別把 Qwen3.8-27B 的 +1.9% 當通則
  • MoE 只量化 expert 層。 另外 embeddings 與 lm-head 在所有模型上都不量化
  • 122B 那組的預算跟其他實驗不同:32 flips、512K 校準 token;公平對照時用的是 128 flips、約 20 萬 token
  • Qwen3.5/3.6/3.8 是不同世代,數字不要互相對照
  • Ascend 不是開箱即用。 要 CANN 與 torch_npu。官方只給 kernel PR,整模型還要接推理 runtime
  • 32.5 GB 是顯示記憶體,不是全部。 你的主機要有地方放那 244 GB

還有那個 +2.3%:它是對「純 MXFP4」算的。如果你的比較基準是 BF16,MACaQ 還是快兩倍多(表 3)。同一個方法,換一個分母,結論就換一個方向。

明天可以做的三件事

  1. 先量基準。如果你手上已經有一個 GGUF,配 FP16 原檔算一次 KL,就有自己的一條線。README 沒有附量 KL 的腳本,得自己找。沒有基準,任何「低 15%」都是別人的數字。也先確認你手上那個不是壞的,見你下載的量化模型可能是壞的。
  2. 跑一次 refine。有原檔就跑,跑完用你平常那支 llama.cpp 跑同一題,比輸出。沒變好,你只損失一次 refine 的時間。
  3. 要自己量化 100B 級模型的人,現在一台單卡機就夠。 前提是主機記憶體放得下 FP16 權重。

如果只是想在自己電腦上跑大模型,先看125B 模型怎麼跑在 12GB 顯卡上。那是另一條路:不改權重,改誰在什麼時候被載入。

量化的門檻換了位置:從一張卡,搬到一台主機。