[{"data":1,"prerenderedAt":2114},["ShallowReactive",2],{"site-info":3,"post-introducing-nested-learning":99,"related-zh-TW-introducing-nested-learning":992},{"id":4,"company":5,"extension":16,"meta":17,"services":18,"social":96,"stem":97,"__hash__":98},"site\u002Fsite.yml",{"name":6,"nameEn":7,"email":8,"address":9,"addressEn":10,"lineUrl":11,"lineId":12,"duns":13,"youtube":14,"youtubeId":15},"銡策數位有限公司","Jecision Digital Co., Ltd.","contact@jecision.com","231 新北市新店區北新路二段 262 號 3 樓之 3","3F.-3, No. 262, Sec. 2, Beixin Rd., Xindian Dist., New Taipei City 231, Taiwan","https:\u002F\u002Fline.me\u002FR\u002Fti\u002Fp\u002F@374qnumi","@374qnumi","963905705","https:\u002F\u002Fwww.youtube.com\u002Fshorts\u002F6UE0WTmyjsg","6UE0WTmyjsg","yml",{},[19,43,69],{"key":20,"zh":21,"en":32},"audit",{"title":22,"tagline":23,"summary":24,"points":25,"deliverable":29,"detail":30,"duration":31},"企業 AI 導入健檢","先看清楚，再花錢","60 分鐘線上訪談，盤點最耗時、最依賴人力的營運環節；我們會告訴你哪些工作現在就能交給 AI、哪些還不成熟。",[26,27,28],"現況盤點：梳理日常營運中最耗時、最依賴人力的環節","痛點診斷：判斷哪些工作現在就能交給 AI，哪些建議先保留人力","可行性評估：依你的業務特性與預算，篩選適合的模型與工具","《企業 AI 導入建議報告書》（PDF）","含 1–2 個「開發成本最低、成效最明顯」的優先項目、技術棧建議、預期節省的人力時間與下一步","訪談 60 分鐘，報告書 3 個工作天內交付",{"title":33,"tagline":34,"summary":35,"points":36,"deliverable":40,"detail":41,"duration":42},"AI Readiness Audit","Look before you spend","A 60-minute remote audit of the workflows that eat the most time and people-power — and an honest answer on what AI can take over today, and what it cannot.",[37,38,39],"Audit the daily workflows that consume the most time and headcount","Triage which tasks AI can own today, and which should stay human","Shortlist the models and tools that fit your budget and constraints","AI Adoption Recommendation Report (PDF)","One or two highest-ROI entry points, a recommended tech stack, expected hours saved, and the concrete next step","60-minute call, report delivered within 3 business days",{"key":44,"zh":45,"en":56},"prompt",{"title":46,"tagline":47,"summary":48,"points":49,"deliverable":53,"detail":54,"duration":55},"提示詞工程","讓 AI 穩定產出，而不是碰運氣","針對你的實際任務設計提示詞與多步驟工作流，並做極限測試，確保換了資料、換了人操作也不會走鐘。",[50,51,52],"客製提示詞：ChatGPT、Claude、Gemini、Midjourney 等主流工具的專屬模板","除錯與優化：修掉幻覺、格式跑掉、時好時壞的問題","工作流建置：把複雜任務拆成多步驟提示詞與可重複的 SOP","提示詞文件或設定檔","附使用說明與範例，並提供 1 對 1 教學，確保你與團隊能自己維護","依任務複雜度報價，通常 3–7 個工作天",{"title":57,"tagline":58,"summary":59,"points":60,"deliverable":66,"detail":67,"duration":68},"Prompt Engineering","Make AI produce reliably, not by luck","Prompt sets and multi-step workflows designed for your actual tasks, stress-tested so they keep working when the data or the operator changes.",[61,62,64],"Custom prompts for ChatGPT, Claude, Gemini, Midjourney and friends",{"Debugging and tuning":63},"kill hallucinations, broken formats and flaky output",{"Workflow design":65},"break complex work into repeatable multi-step SOPs","Prompt library or exportable config","Ships with usage notes and examples, plus a 1:1 walkthrough so your team can maintain it","Quoted by complexity, typically 3–7 business days",{"key":70,"zh":71,"en":82},"poc",{"title":72,"tagline":73,"summary":74,"points":75,"deliverable":79,"detail":80,"duration":81},"極速 PoC","五天，看到能跑的東西","不談架構藍圖，直接做一個能動的雛形。五個工作天內交付線上可操作的智能體，用你真實的資料驗證。",[76,77,78],"Day 1：15 分鐘對焦，鎖定單一痛點與資料盤點","Day 2–4：模型串接、邏輯設計與雛形開發","Day 5：Demo 展示與 AI 擴展建議書","可線上操作的智能體雛形","交付範圍為概念驗證與展示，不含後續維運或大規模伺服器部署；要進階成完整系統會另行報價","5 個工作天",{"title":83,"tagline":84,"summary":85,"points":86,"deliverable":93,"detail":94,"duration":95},"Rapid PoC","Five days to something that runs","No architecture decks — a working prototype built in five business days, validated against your real data.",[87,89,91],{"Day 1":88},"15-minute scoping call, one pain point, data inventory",{"Day 2–4":90},"model integration, logic design, prototype build",{"Day 5":92},"live demo plus an AI expansion recommendation","A runnable online agent prototype","Proof of concept and demo scope only; ongoing operations and large-scale deployment are quoted separately","5 business days",[],"site","XTwARfVAOcrXNiKehsM6V6cdkd2HXy4d5yZVrSWrI3Q",{"zh":100,"en":990},{"id":101,"title":102,"author":103,"body":104,"cover":974,"coverAlt":102,"date":975,"description":976,"draft":977,"extension":978,"featured":977,"lang":979,"meta":980,"navigation":981,"path":982,"seo":983,"slug":984,"stem":985,"tags":986,"translationKey":984,"updated":990,"__hash__":991},"blog\u002Fblog\u002Fzh-TW\u002Fintroducing-nested-learning.md","嵌套學習：深度學習架構的幻象","Jecision",{"type":105,"value":106,"toc":965},"minimark",[107,117,121,136,139,143,148,154,171,176,201,203,207,212,220,225,245,250,285,287,291,296,322,324,328,333,341,346,372,377,394,399,425,427,431,435,494,496,500,504,556,558,562,567,631,633,637,641,656,661,719,721,725,730,738,743,779,784,792,798,800,804,807,917,919,923],[108,109,111],"h3",{"id":110},"httpsresearchgoogleblogintroducing-nested-learning-a-new-ml-paradigm-for-continual-learning",[112,113,114],"a",{"href":114,"rel":115},"https:\u002F\u002Fresearch.google\u002Fblog\u002Fintroducing-nested-learning-a-new-ml-paradigm-for-continual-learning\u002F",[116],"nofollow",[118,119,102],"h2",{"id":120},"嵌套學習深度學習架構的幻象",[122,123,124,128,129,132,135],"p",{},[125,126,127],"strong",{},"作者","：Ali Behrouz、Meisam Razaviyayn、Peilin Zhong、Vahab Mirrokni",[130,131],"br",{},[125,133,134],{},"機構","：Google Research",[137,138],"hr",{},[108,140,142],{"id":141},"全文翻譯與章節重點總結","📖 全文翻譯與章節重點總結",[144,145,147],"h4",{"id":146},"摘要","📌 摘要",[122,149,150,153],{},[125,151,152],{},"核心觀點","：",[155,156,157,165,168],"ul",{},[158,159,160,161,164],"li",{},"提出了 ",[125,162,163],{},"嵌套學習"," 這一新的學習典範，將機器學習模型表示為一組嵌套的、多層次的優化問題，每一層都有自己的「上下文流」。",[158,166,167],{},"從 NL 的角度看，現有深度學習方法通過壓縮自身的上下文流來從數據中學習，而大型模型中的上下文學習自然湧現。",[158,169,170],{},"NL 提出了一種哲學思想，即設計具有更多「層次」、更富表達力的學習演算法，從而實現更高階的上下文學習，並可能解鎖有效的持續學習能力。",[122,172,173,153],{},[125,174,175],{},"主要貢獻",[177,178,179,185,191],"ol",{},[158,180,181,184],{},[125,182,183],{},"可表達的最佳化器","：展示了 Adam、帶動量的 SGD 等基於梯度的最佳化器實際上是試圖壓縮梯度資訊的關聯記憶體模組，並在此基礎上提出了具有更深記憶或更強大學習規則的「更富表達力」的最佳化器。",[158,186,187,190],{},[125,188,189],{},"自修改學習模組","：利用 NL 對學習演算法的洞察，提出了一種通過學習自己的更新演算法來學習如何修改自身的序列模型。",[158,192,193,196,197,200],{},[125,194,195],{},"連續體記憶系統","：提出了一種新的記憶系統表述，推廣了傳統的「長\u002F短期記憶」觀點。結合自修改序列模型和連續體記憶系統，提出了名為 ",[125,198,199],{},"Hope"," 的持續學習模組，在語言建模、知識整合、少樣本泛化、持續學習和長上下文推理任務中顯示出良好效果。",[137,202],{},[144,204,206],{"id":205},"_1️⃣-引言","1️⃣ 引言",[122,208,209,153],{},[125,210,211],{},"核心問題",[155,213,214,217],{},[158,215,216],{},"儘管深度學習（尤其是大型語言模型）取得了巨大成功，但它們在初始部署後基本上是靜態的，無法在上下文之外持續獲取新能力，只能通過上下文學習進行快速適應。",[158,218,219],{},"當前模型（尤其是 LLMs）的知識僅限於其上下文視窗內的即時上下文或預訓練結束時儲存在 MLP 中的「長期過去」知識，類似於「順行性遺忘症」，無法形成新的長期記憶。",[122,221,222,153],{},[125,223,224],{},"神經科學動機",[155,226,227,233,239],{},[158,228,229,232],{},[125,230,231],{},"人腦的持續學習能力"," 歸功於神經可塑性和神經振盪（腦波）。",[158,234,235,238],{},[125,236,237],{},"多時間尺度處理系統","：腦波（如 Gamma、Beta、Theta）以不同頻率協調神經計算和資訊處理，對應不同的認知功能和記憶鞏固時間尺度。",[158,240,241,244],{},[125,242,243],{},"大腦的均勻可重用結構","：大腦結構是均勻且可重用的（如半球切除術後仍能正常運作），記憶是跨多個區域分佈的神經迴路，而非孤立於特定區域。",[122,246,247,153],{},[125,248,249],{},"貢獻與路線圖",[177,251,252,259,265,272,278],{},[158,253,254,255,258],{},"介紹 ",[125,256,257],{},"嵌套學習典範","。",[158,260,261,262,258],{},"論證 ",[125,263,264],{},"最佳化器和架構都是學習模組",[158,266,267,268,271],{},"重新審視 ",[125,269,270],{},"持續學習、上下文學習、預訓練和學習"," 等常見概念。",[158,273,274,275,258],{},"提出 ",[125,276,277],{},"連續體記憶系統、自引用 Titans 和 Hope 架構",[158,279,280,281,284],{},"提供 ",[125,282,283],{},"實驗評估","，支持 NL 觀點和提出的元件的有效性。",[137,286],{},[144,288,290],{"id":289},"_2️⃣-預備知識","2️⃣ 預備知識",[122,292,293,153],{},[125,294,295],{},"回顧概念",[155,297,298,304,310,316],{},[158,299,300,303],{},[125,301,302],{},"梯度下降"," 及其變體的公式化表述。",[158,305,306,309],{},[125,307,308],{},"元學習","：將模型設計自動化建模為一個兩級優化過程。",[158,311,312,315],{},[125,313,314],{},"快速權重程式設計器 (FWPs)","：一種循環神經網路，其記憶是矩陣值的，作為短期記憶。",[158,317,318,321],{},[125,319,320],{},"上下文學習 (ICL)","：模型根據給定上下文自適應和學習的能力。本文使用最廣義的定義。",[137,323],{},[144,325,327],{"id":326},"_3️⃣-嵌套學習-nested-learning","3️⃣ 嵌套學習 (Nested Learning)",[122,329,330,153],{},[125,331,332],{},"核心思想",[155,334,335,338],{},[158,336,337],{},"將機器學習模型（包括其訓練過程）表示為一個相互關聯的、多層次的、嵌套的優化問題系統。",[158,339,340],{},"每個元件（架構、最佳化器）都有自己的上下文流和優化目標，它們在不同層次以不同頻率更新。",[122,342,343,153],{},[125,344,345],{},"關鍵定義",[177,347,348,354,360,366],{},[158,349,350,353],{},[125,351,352],{},"關聯記憶體","：一個將一組鍵映射到一組值的算子。學習是獲取有效記憶體（映射）的過程。",[158,355,356,359],{},[125,357,358],{},"更新頻率","：定義每個元件（參數或非參數）的更新頻率。",[158,361,362,365],{},[125,363,364],{},"嵌套系統","：一個有序的多層次系統，每層包含一組用梯度下降優化的（關聯記憶體）問題。",[158,367,368,371],{},[125,369,370],{},"神經學習模組","：架構和優化過程共同確定的模型的聯合表示。",[122,373,374,153],{},[125,375,376],{},"層次間的知識轉移方式",[155,378,379,382,385,388,391],{},[158,380,381],{},"參數化直接連接（如 FWPs）",[158,383,384],{},"非參數化直接連接（如注意力）",[158,386,387],{},"通過反向傳播的知識轉移",[158,389,390],{},"通過初始化（如 MAML）",[158,392,393],{},"通過生成（權重或上下文生成，如超網路、優化過程）",[122,395,396,153],{},[125,397,398],{},"重要洞見",[155,400,401,407,413,419],{},[158,402,403,406],{},[125,404,405],{},"訓練一個線性層","：通過反向傳播訓練一個線性層可以被視為一個基於「驚奇」的記憶體，它試圖將數據樣本映射到其預測誤差。",[158,408,409,412],{},[125,410,411],{},"帶動量的梯度下降","：可以視為一個兩級關聯記憶體（優化過程），其中內層學習將梯度壓縮到其參數中。",[158,414,415,418],{},[125,416,417],{},"架構分解","：像線性注意力這樣的架構可以分解為嵌套的優化問題（例如，投影層在低頻優化，記憶體矩陣在高頻優化）。",[158,420,421,424],{},[125,422,423],{},"堆疊層次","：嵌套學習允許計算模型由多個（多層）層次組成，以不同的抽象層次和更新頻率學習和處理數據。",[137,426],{},[144,428,430],{"id":429},"_4️⃣-最佳化器作為學習模組","4️⃣ 最佳化器作為學習模組",[122,432,433,153],{},[125,434,152],{},[155,436,437,447,453,459,482,488],{},[158,438,439,442,443,446],{},[125,440,441],{},"反向傳播作為關聯記憶體","：使用反向傳播訓練神經網路可以看作一個壓縮過程，其中每一層都在儲存其輸入與對應的局部誤差信號（驚奇）之間的映射。這是一個 ",[125,444,445],{},"自我指涉過程","，因為用於記憶體的值是由記憶體本身生成的。",[158,448,449,452],{},[125,450,451],{},"基於動量的最佳化器作為關聯記憶體","：動量項可以看作一個旨在將過去梯度壓縮到其參數中的關聯記憶體。它是一個兩級優化過程。",[158,454,455,458],{},[125,456,457],{},"流行的最佳化器如 Adam、AdaGrad"," 都可以被重新表述為關聯記憶體，它們試圖將梯度映射到其某種全域屬性（如方差）。",[158,460,461,464,465],{},[125,462,463],{},"為持續學習設計更具表達力的最佳化器","：現有動量設計（如指數移動平均）容量有限，對長遠過去梯度記憶不佳。NL 視角啟發我們設計：\n",[155,466,467,470,473,476,479],{},[158,468,469],{},"更具表達力的關聯（如添加預處理）。",[158,471,472],{},"更具表達力的目標（如用 L2 回歸損失代替點積相似度，得到 Delta Momentum）。",[158,474,475],{},"更具表達力的記憶體結構（如用 MLP 代替線性層作為動量記憶體，得到 Deep Momentum GD）。",[158,477,478],{},"更高階的特徵映射。",[158,480,481],{},"非線性輸出（如 Muon 最佳化器中的牛頓-舒爾茨正交化）。",[158,483,484,487],{},[125,485,486],{},"Delta 梯度下降 (DGD)","：用 L2 回歸損失代替點積相似度作為內部目標，得到的更新規則不僅依賴於當前數據，還依賴於權重的先前狀態，從而能捕獲數據樣本間的依賴關係。",[158,489,490,493],{},[125,491,492],{},"廣義梯度下降 (GGD)","：將梯度下降定義為任何旨在壓縮數據樣本並將其映射到一組自生成值的自我指涉關聯記憶體。",[137,495],{},[144,497,499],{"id":498},"_5️⃣-現有架構作為神經學習模組","5️⃣ 現有架構作為神經學習模組",[122,501,502,153],{},[125,503,152],{},[155,505,506,512,518,550],{},[158,507,508,511],{},[125,509,510],{},"現代序列模型（Transformer, RNNs）都可以被視為關聯記憶體","，它們旨在根據某種內部目標（注意力偏差）和最佳化演算法學習從鍵到值的映射。",[158,513,514,517],{},[125,515,516],{},"從 NL 視角看，所有現代架構都是均勻的","：它們都由一組前饋網路（線性或非線性 MLP 塊）組成，每個網路根據自己的上下文流和優化問題在不同層次和時間尺度上進行訓練。我們觀察到的異質性源於只看到了這些優化問題的最終解，造成了「深度學習架構的幻象」。",[158,519,520,523,524],{},[125,521,522],{},"具體示例","：\n",[155,525,526,532,538,544],{},[158,527,528,531],{},[125,529,530],{},"Softmax 注意力","：是某個 L2 回歸目標的非參數解（Nadaraya-Watson 估計器）。",[158,533,534,537],{},[125,535,536],{},"基於 Hebbian 規則的 RNNs（如線性注意力）","：是使用點積相似度作為內部目標，用梯度下降優化的關聯記憶體。",[158,539,540,543],{},[125,541,542],{},"基於 Delta 規則的 RNNs（如 DeltaNet）","：是使用 MSE（L2 回歸）作為內部目標，用梯度下降優化的關聯記憶體。",[158,545,546,549],{},[125,547,548],{},"其他學習規則","：如 Oja‘s rule, Omega rule 等，也都是特定內部目標和最佳化演算法的實例。",[158,551,552,555],{},[125,553,554],{},"門控機制的作用","：在現代序列模型中，門控線性層的輸出可以被視為 MLP 塊的持久記憶體，或者當記憶體初始狀態未元學習時，作為記憶體模組的初始化。",[137,557],{},[144,559,561],{"id":560},"_6️⃣-要點總結與概念重審","6️⃣ 要點總結與概念重審",[122,563,564,153],{},[125,565,566],{},"對常見術語的 NL 視角解讀",[155,568,569,575,581,587,592,598,604,610,619,625],{},[158,570,571,574],{},[125,572,573],{},"記憶體與學習","：記憶體是由輸入引起的神經更新，學習是獲取有用記憶體的過程。記憶體不是孤立系統，而是分佈在所有參數中。任何由梯度下降（或其他演算法）引起的更新都是記憶體的一種形式。",[158,576,577,580],{},[125,578,579],{},"模型參數","：模型的參數不僅包括在預訓練級別優化的那些。NL 表示中出現的所有參數（如動量項、RNN 的隱藏狀態）都對其性能和表達能力有貢獻。",[158,582,583,586],{},[125,584,585],{},"每個神經元的更多計算","：堆疊層次可以增加每個低頻參數的計算深度（如 Muon 最佳化器中的正交化步驟）。",[158,588,589,591],{},[125,590,320],{},"：從 NL 視角看，每個塊或層次都有自己的上下文流，因此任何對該上下文的神經更新或適應都被視為一種 ICL。Transformer 的 ICL 是非參數 ICL 的一個特例，而 RNN 的記憶體執行的是參數化 ICL。",[158,593,594,597],{},[125,595,596],{},"測試時訓練\u002F記憶體","：是參數化 ICL 的實例，當上下文移除時，獲取的上下文知識也隨之消失。",[158,599,600,603],{},[125,601,602],{},"預訓練與測試時間","：預訓練只是 ICL 的一個可能實例，其上下文是整個預訓練數據。訓練和測試時間的區分是由於缺乏從最高頻率層（如 Transformer 的上下文）到低頻層（如預訓練）的知識轉移過程。",[158,605,606,609],{},[125,607,608],{},"持續學習","：從 NL 視角看，任何機器學習模型都在進行持續學習。知識可能無法持久或轉移到更持久的層次，主要是由於層次間缺乏知識轉移。",[158,611,612,615,616,258],{},[125,613,614],{},"現有架構骨幹與混合模型","：從 NL 視角看，所有現代架構都是均勻的。混合架構可以看作是傳統的 Transformer 模型，只是為某些 MLP 塊增加了新的計算層次。",[125,617,618],{},"循環模型正在取代 MLP 塊",[158,620,621,624],{},[125,622,623],{},"神經學習模組作為互聯繫統","：架構為最佳化器生成上下文（即梯度）。因此，梯度的適當記憶體管理依賴於架構的選擇。未來需要設計架構特定的最佳化器，以使這個互聯繫統完美和諧地工作。",[158,626,627,630],{},[125,628,629],{},"最佳化器 vs. 學習到的最佳化器","：兩者是同一概念的不同實例，只是頻率和上下文流不同。",[137,632],{},[144,634,636],{"id":635},"_7️⃣-連續體多時間尺度記憶系統","7️⃣ 連續體多時間尺度記憶系統",[122,638,639,153],{},[125,640,152],{},[155,642,643,650,653],{},[158,644,645,646,649],{},"推廣傳統的「長\u002F短期記憶體」觀點，提出 ",[125,647,648],{},"連續體記憶系統 (CMS)","：將記憶體視為一個具有更新頻率譜的分佈式互聯繫統。",[158,651,652],{},"高頻神經元負責快速適應但儲存記憶體時間短，低頻神經元負責更持久的知識。",[158,654,655],{},"與 LSM 相比，這種多頻率設計形成了一個記憶體循環過程，知識在被遺忘後可以部分恢復。",[122,657,658,153],{},[125,659,660],{},"CMS 設計",[155,662,663,666,691,697,703,713],{},[158,664,665],{},"由一系列 MLP 塊鏈組成，每個塊與一個更新頻率（塊大小）相關聯。塊參數根據其頻率定期更新（例如，每 C 步更新一次）。",[158,667,668,523,671],{},[125,669,670],{},"變體",[177,672,673,679,685],{},[158,674,675,678],{},[125,676,677],{},"嵌套 CMS","：高層級 MLP 塊的初始狀態由低層級元學習，允許高階 ICL。",[158,680,681,684],{},[125,682,683],{},"順序 CMS","：所有 MLP 塊的初始狀態都在最低頻率層通過反向傳播元學習。",[158,686,687,690],{},[125,688,689],{},"獨立（頭-wise）CMS","：獨立的塊具有不同的上下文長度，然後通過聚合函數組合。",[158,692,693,696],{},[125,694,695],{},"CMS 有助於持續學習","：當一個塊更新並遺忘舊知識時，這些知識仍可能儲存在其他低頻塊中，並且通過反向傳播的知識轉移可以循環回來，形成一個時間維度的循環，從而很難遺忘重要知識。",[158,698,699,702],{},[125,700,701],{},"CMS 的效率","：每次只更新一小部分參數（根據其頻率），並且其設計解鎖了高層級的序列並行化。",[158,704,705,708,709,712],{},[125,706,707],{},"CMS 在最佳化器中的應用","：作為概念驗證，設計了 ",[125,710,711],{},"多尺度動量 Muon (M3) 最佳化器","，結合了 Adam、Muon 和 CMS 的思想，具有多個動量項以更好地壓縮長期梯度資訊。",[158,714,715,718],{},[125,716,717],{},"臨時層次堆疊：用預訓練模型初始化 CMS","：可以利用預訓練模型的權重來初始化 CMS 塊的參數，從而幫助模型更快地適應其層次的上下文流。",[137,720],{},[144,722,724],{"id":723},"_8️⃣-hope具有連續體記憶體的自指涉學習模組","8️⃣ Hope：具有連續體記憶體的自指涉學習模組",[122,726,727,153],{},[125,728,729],{},"設計動機",[155,731,732,735],{},[158,733,734],{},"Transformer 是兩層級元件（投影和 MLP 在第一層，注意力是第二層的非參數解），計算深度有限，且參數在上下文中是靜態的，缺乏自我修改能力。",[158,736,737],{},"需要一種允許所有元件在上下文中自適應，並能學習自我修改的模型。",[122,739,740,153],{},[125,741,742],{},"Hope 架構組成",[177,744,745,770],{},[158,746,747,523,750],{},[125,748,749],{},"自修改深度 Titans",[155,751,752,755,761,764,767],{},[158,753,754],{},"一個完全自適應的記憶體系統，其中所有元件（生成鍵、值、查詢、學習率、衰減率的映射）都能在上下文中適應。",[158,756,757,760],{},[125,758,759],{},"關鍵創新","：模型學習根據上下文生成自己的潛在值（目標值），從而修改自身。",[158,762,763],{},"使用 Delta 梯度下降 (DGD) 作為內部優化演算法，因為令牌空間中的元素高度相關。",[158,765,766],{},"所有記憶體（映射函數）的架構都是任意的，本文使用 2 層 MLP。",[158,768,769],{},"採用分塊訓練演算法實現快速並行化訓練。",[158,771,772,523,774],{},[125,773,648],{},[155,775,776],{},[158,777,778],{},"為模型提供更持久的記憶體儲存。",[122,780,781,153],{},[125,782,783],{},"Hope 的前向傳播",[155,785,786,789],{},[158,787,788],{},"輸入首先通過自修改 Titans 模組進行處理，其輸出再通過 CMS 鏈。",[158,790,791],{},"輸出是這兩個系統協同工作的結果。",[122,793,794,797],{},[125,795,796],{},"Hope-Attention 變體","：將自修改 Titans 替換為 softmax 全域注意力。",[137,799],{},[144,801,803],{"id":802},"_9️⃣-實驗評估","9️⃣ 實驗評估",[122,805,806],{},"實驗評估了 NL 觀點及其元件（如 CMS、Hope）在多個任務上的有效性：",[177,808,809,834,853,863,876,886,899],{},[158,810,811,814],{},[125,812,813],{},"Hope：持續學習與長上下文理解",[155,815,816,822,828],{},[158,817,818,821],{},[125,819,820],{},"類增量學習","（CLINC, Banking, DBpedia）：Hope 在持續學習任務上優於 ICL、EWC、InCA 等基線，表明 CMS 設計對增強持續學習能力有效。",[158,823,824,827],{},[125,825,826],{},"層級對上下文學習的影響","：在 LongHealth、QASPER、MK-NIAH 任務上，更多記憶層級和適當的更新頻率能提升模型的長上下文理解和 ICL 能力。",[158,829,830,833],{},[125,831,832],{},"上下文學習新語言 (CTNL)","：Hope 在持續翻譯新語言任務上顯著優於 ICL，能有效緩解災難性遺忘。",[158,835,836,839],{},[125,837,838],{},"Hope：長上下文理解",[155,840,841,847],{},[158,842,843,846],{},[125,844,845],{},"大海撈針 (NIAH) 任務","：Hope 在各種設置（單針、多鍵、多查詢、多值）和長度下，性能優於其他注意力無關模型（RWKV-7, Comba, Titans）及 Transformer。Hope-Attention 也優於普通 Transformer。",[158,848,849,852],{},[125,850,851],{},"BABILong 基準測試","：Hope 在長達 10M 的上下文長度上保持良好性能，優於其他小型微調模型和大型零樣本模型。",[158,854,855,858],{},[125,856,857],{},"Hope：語言建模與常識推理",[155,859,860],{},[158,861,862],{},"在 Wikitext、LAMBADA、PIQA 等多個基準測試上，Hope 在平均性能上優於所有基線模型（包括 Transformer 和各種 RNNs），並且在參數規模擴大時表現出更高的性能增益。",[158,864,865,868],{},[125,866,867],{},"Hope：上下文召回任務與 MAD 合成基準測試",[155,869,870,873],{},[158,871,872],{},"在多個上下文召回數據集上，Hope 優於所有注意力無關模型，縮小了與 Transformer 的差距。",[158,874,875],{},"在 MAD 合成基準測試上，Hope 在壓縮、記憶、複製等任務上優於所有基線，包括 Transformer。",[158,877,878,881],{},[125,879,880],{},"語言識別任務",[155,882,883],{},[158,884,885],{},"在形式語言識別任務上，Hope 取得了與 LSTM、SRWM 等非線性循環模型相當的完美分數，同時保持了可並行訓練的優勢。",[158,887,888,891],{},[125,889,890],{},"Hope：消融研究與擴展",[155,892,893,896],{},[158,894,895],{},"消融研究表明，Hope 的所有元件（DGD、動量、權重衰減、CMS、內部投影）都對其性能有積極貢獻。",[158,897,898],{},"上下文使用越多，模型困惑度越低，表明其具有強大的記憶體管理能力。",[158,900,901,903],{},[125,902,183],{},[155,904,905,911],{},[158,906,907,910],{},[125,908,909],{},"ImageNet","：在 ImageNet-21K 上訓練 ViT，M3 最佳化器比 AdamW 和 Muon 獲得了更低的訓練\u002F測試損失。",[158,912,913,916],{},[125,914,915],{},"大模型效率","：M3 由於使用多個動量（記憶體），訓練速度相對 Muon 較慢，但與 AdaMuon 效率相當。",[137,918],{},[144,920,922],{"id":921},"結論","🔚 結論",[155,924,925,932,939,942,949,959],{},[158,926,927,928,931],{},"本文提出了 ",[125,929,930],{},"嵌套學習 (NL)","，這是一個新的學習典範，將現代機器學習系統建模為相互關聯的、多層次的優化問題。",[158,933,934,935,938],{},"從這個角度看，",[125,936,937],{},"架構和最佳化器都是嵌套關聯記憶體系統的實例","，它們壓縮自己的上下文（令牌、梯度或高層信號）。",[158,940,941],{},"NL 將預訓練、上下文學習和持續學習重新建構為同一底層機制的表現：在不同層次和時間尺度上學習和重用上下文。",[158,943,944,945,948],{},"基於 NL 的觀點，推導了 ",[125,946,947],{},"廣義的基於梯度的更新","（如 DGD、Delta Momentum、M3），並將現代序列架構重新解釋為嵌套關聯記憶體。",[158,950,951,952,954,955,958],{},"為了增強記憶體處理，引入了 ",[125,953,648],{},"。基於自修改 Titans 和 CMS 的 ",[125,956,957],{},"Hope 架構"," 提高了持續學習和長上下文推理能力，同時作為通用骨幹具有競爭力。",[158,960,961,964],{},[125,962,963],{},"災難性遺忘解決了嗎？"," 從 NL 視角看，災難性遺忘是壓縮的自然結果，因為網路的有限容量迫使模型遺忘以保留新資訊的容量。NL 是一個路線圖，它表明在持續學習、長上下文推理、現代最佳化器和自修改模型方面的進展將來自於更好地利用「層次」這一額外設計軸，而不是來自更深的靜態網路。",{"title":966,"searchDepth":967,"depth":967,"links":968},"",2,[969,971],{"id":110,"depth":970,"text":114},3,{"id":120,"depth":967,"text":102,"children":972},[973],{"id":141,"depth":970,"text":142},"\u002Fimages\u002Fblog\u002FIntroducing_Nested_Learning.webp","2025-12-22","提出了 嵌套學習 這一新的學習典範，將機器學習模型表示為一組嵌套的、多層次的優化問題，每一層都有自己的「上下文流」。從 NL 的角度看，現有深度學習方法通過壓縮自身的上下文流來從數據中學習，而大型模型中的上下文學習自然湧現。NL 提出了一種哲學思想，即設計具有更多「層次」、更富表達力的學習演算法，從而實現更高階的上下文學習，並可能解鎖有效的持續學習能力。",false,"md","zh-TW",{},true,"\u002Fblog\u002Fzh-tw\u002Fintroducing-nested-learning",{"title":102,"description":976},"introducing-nested-learning","blog\u002Fzh-TW\u002Fintroducing-nested-learning",[987,988,989],"paper","nested-learning","memory",null,"UnpmmILVDKQxNZFHYwWWtgxLsgOmngK3kB9I1u4qAtk",[993,1403],{"id":994,"title":995,"author":103,"body":996,"cover":1391,"coverAlt":995,"date":1392,"description":1393,"draft":977,"extension":978,"featured":977,"lang":979,"meta":1394,"navigation":981,"path":1395,"seo":1396,"slug":1397,"stem":1398,"tags":1399,"translationKey":1397,"updated":990,"__hash__":1402},"blog\u002Fblog\u002Fzh-TW\u002Farxiv-2510-27688v1.md","連續自迴歸語言模型 CALM 技術解析",{"type":105,"value":997,"toc":1381},[998,1008,1014,1020,1026,1030,1033,1036,1050,1055,1059,1065,1071,1075,1137,1146,1150,1220,1240,1248,1262,1266,1269,1301,1305,1331,1335,1358,1373],[122,999,1000,1003,1004,1007],{},[125,1001,1002],{},"研究單位","：騰訊微信 AI × 清華大學\n",[125,1005,1006],{},"核心命題","：傳統大模型逐字（Token-by-token）生成的效率已觸及物理天花板。CALM 將離散 Token 轉換為連續向量（Continuous Vectors），將生成步數縮減至原來的 1\u002FK 為大語言模型的擴充開闢了全新的效率路徑。",[122,1009,1010],{},[112,1011,1012],{"href":1012,"rel":1013},"https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.27688v1",[116],[122,1015,1016],{},[112,1017,1018],{"href":1018,"rel":1019},"https:\u002F\u002Fshaochenze.github.io\u002Fblog\u002F2025\u002FCALM\u002F",[116],[122,1021,1022],{},[112,1023,1024],{"href":1024,"rel":1025},"https:\u002F\u002Fgithub.com\u002Fmahmoodlab\u002Fclam",[116],[118,1027,1029],{"id":1028},"一背景與動機離散生成的效率瓶頸","一、背景與動機：離散生成的效率瓶頸",[122,1031,1032],{},"現有的大型語言模型（LLMs）都依賴「逐字預測」的舊範式。每個 Token 都需要進行一次完整的前向計算，當序列變長時，計算成本呈線性甚至平方級增長。",[122,1034,1035],{},"儘管文本表徵已經從字符集進化到子詞集（如 BPE），但這種「離散表示」已觸及物理極限：",[155,1037,1038,1044],{},[158,1039,1040,1043],{},[125,1041,1042],{},"詞表膨脹的詛咒","：為了涵蓋更多語義，詞表規模從 32,000 膨脹至 256,000，導致最後一層的計算與記憶體成本飆升。",[158,1045,1046,1049],{},[125,1047,1048],{},"資訊密度極低","：每個離散詞元僅攜帶約 15–18 bit 的資訊，潛力已然耗盡。模型擁有龐大的算力，卻被困在一次只能預測一個低資訊量 Token 的勞力密集工作中。",[122,1051,1052,1054],{},[125,1053,921],{},"：必須轉向高維連續路線，從根本上改變生成機制。",[118,1056,1058],{"id":1057},"二calm-核心思路與原理","二、CALM 核心思路與原理",[122,1060,1061,1064],{},[125,1062,1063],{},"基本機制","：利用自編碼器(Autoencoder)將 K 個離散 Token 壓縮為「一個」高維連續向量。這使得模型的序列長度從 T 降至 T\u002FK，生成步數直接縮減為原來的 K 分之一。",[122,1066,1067,1070],{},[125,1068,1069],{},"本質","：以更高的「語義頻寬」(Semantic Bandwidth)換取更少的生成步驟，實現算力與速度的跨越式突破。",[108,1072,1074],{"id":1073},"傳統範式-vs-calm-連續模型","傳統範式 vs. CALM 連續模型",[1076,1077,1078,1094],"table",{},[1079,1080,1081],"thead",{},[1082,1083,1084,1088,1091],"tr",{},[1085,1086,1087],"th",{},"維度",[1085,1089,1090],{},"傳統離散模型 (Discrete)",[1085,1092,1093],{},"CALM 連續模型 (Continuous)",[1095,1096,1097,1111,1124],"tbody",{},[1082,1098,1099,1105,1108],{},[1100,1101,1102],"td",{},[125,1103,1104],{},"擴容方式",[1100,1106,1107],{},"詞表指數級膨脹，算力爆炸",[1100,1109,1110],{},"增加向量維度，算力平滑增長",[1082,1112,1113,1118,1121],{},[1100,1114,1115],{},[125,1116,1117],{},"計算目標",[1100,1119,1120],{},"從數十萬詞中選一個機率",[1100,1122,1123],{},"在連續空間中直接預測精確座標",[1082,1125,1126,1131,1134],{},[1100,1127,1128],{},[125,1129,1130],{},"序列長度",[1100,1132,1133],{},"極長序列 T",[1100,1135,1136],{},"短序列 T\u002FK，步數銳減",[1138,1139,1140],"blockquote",{},[122,1141,1142,1145],{},[125,1143,1144],{},"通俗比喻","：傳統生成就像在「擁有數十萬個抽屜的倉庫中盲目尋寶」，而 CALM 則是「直接繪製高維座標」，徹底擺脫了詞表膨脹的物理限制。",[118,1147,1149],{"id":1148},"三calm-的四大技術支柱","三、CALM 的四大技術支柱",[177,1151,1152,1206,1215],{},[158,1153,1154,1157,1158,1205],{},[125,1155,1156],{},"高保真自編碼器 (Autoencoder)","\n將 ",[1159,1160,1163,1185],"span",{"className":1161},[1162],"katex",[1159,1164,1167],{"className":1165},[1166],"katex-mathml",[1168,1169,1171],"math",{"xmlns":1170},"http:\u002F\u002Fwww.w3.org\u002F1998\u002FMath\u002FMathML",[1172,1173,1174,1181],"semantics",{},[1175,1176,1177],"mrow",{},[1178,1179,1180],"mi",{},"K",[1182,1183,1180],"annotation",{"encoding":1184},"application\u002Fx-tex",[1159,1186,1190],{"className":1187,"ariaHidden":1189},[1188],"katex-html","true",[1159,1191,1194,1199],{"className":1192},[1193],"base",[1159,1195],{"className":1196,"style":1198},[1197],"strut","height:0.6833em;",[1159,1200,1180],{"className":1201,"style":1204},[1202,1203],"mord","mathnormal","margin-right:0.0715em;"," 個離散詞元壓縮為 128 或更高維度的連續向量。在約 7500 萬參數的輕量級開銷下，重構準確率高達 > 99.9%。它是實現離散與連續間無損轉換的基石。",[158,1207,1208,1211,1212,258],{},[125,1209,1210],{},"能量生成頭與無似然框架","\n摒棄了傳統的 Softmax 機率計算，在連續空間中直接透過迴歸（Regression）預測下一個目標向量，無需像擴散模型（Diffusion）那樣進行數十上百次的去噪迭代，實現",[125,1213,1214],{},"單步生成",[158,1216,1217],{},[125,1218,1219],{},"連續空間魯棒性三大魔法",[155,1221,1222,1228,1234],{},[158,1223,1224,1227],{},[125,1225,1226],{},"變分正則化 (Variational Regularization)","：熨平潛空間（Latent space）中的褶皺與斷層。",[158,1229,1230,1233],{},[125,1231,1232],{},"KL 裁減 (KL Clipping)","：防止潛空間維度嚴重塌陷。",[158,1235,1236,1239],{},[125,1237,1238],{},"雙重 Dropout","：提供額外的抗噪能力。\n這三者共同構建了平滑且富有彈性的高維地形，確保微小的生成偏差不會導致亂碼。",[177,1241,1243],{"start":1242},4,[158,1244,1245],{},[125,1246,1247],{},"無機率評估體系 BrierLM & 溫度控制",[155,1249,1250,1256],{},[158,1251,1252,1255],{},[125,1253,1254],{},"Brier 評估 (Brier Score)","：傳統的困惑度 (Perplexity) 在連續模型中失效。CALM 引入了無似然的 Brier 分數（準確率 − 碰撞率）作為專屬標尺，與交叉熵損失呈極強負相關。",[158,1257,1258,1261],{},[125,1259,1260],{},"黑盒溫度採樣","：因為沒有傳統機率分母可調，CALM 以「批量大小 N」(Batch Size) 作為新型的溫度旋鈕。N 小則低溫高確定性，N 大則高溫高多樣性。搭配拒絕採樣機制，效果與傳統溫度調節高度一致。",[118,1263,1265],{"id":1264},"四流程總覽","四、流程總覽",[122,1267,1268],{},"整個運作閉環如下，速度遠超傳統的逐字生成：",[177,1270,1271,1277,1283,1289,1295],{},[158,1272,1273,1276],{},[125,1274,1275],{},"輸入","：離散 Token 序列。",[158,1278,1279,1282],{},[125,1280,1281],{},"壓縮","：編碼器將每 K 個 Token 壓縮為 1 個連續向量。",[158,1284,1285,1288],{},[125,1286,1287],{},"處理","：Transformer 骨幹網絡在極短的連續向量序列上進行深層注意力計算。",[158,1290,1291,1294],{},[125,1292,1293],{},"預測","：生成頭直接單步預測出下一個目標連續向量。",[158,1296,1297,1300],{},[125,1298,1299],{},"還原","：解碼器將預測出的連續向量無損還原為 K 個離散 Token。",[118,1302,1304],{"id":1303},"五實驗結果與性能優勢","五、實驗結果與性能優勢",[155,1306,1307,1313,1319,1325],{},[158,1308,1309,1312],{},[125,1310,1311],{},"極致的算力節省","：在 K=4 的設置下，訓練算力降低 44%，推理算力降低 34%，生成步數從 T 驟降至 T\u002F4。",[158,1314,1315,1318],{},[125,1316,1317],{},"打破「更大必定更耗算力」的認知","：CALM 參數達 3.71 億（略大於對照組），卻能在打平甚至超越基線性能的情況下，消耗更少的整體算力。",[158,1320,1321,1324],{},[125,1322,1323],{},"全新縮放維度「資訊密度」","：引入了全新的 Scaling 維度。當語義頻寬提高時，CALM 能以更低的算力達到更高的 Brier 分數，擊穿了原有的算力-性能邊界。",[158,1326,1327,1330],{},[125,1328,1329],{},"「後積薄發」的訓練動態","：呈現特殊的訓練曲線。模型在 20 萬步後性能會迎來急劇上升並超越傳統模型，顯示掌握高維連續規律需要前期積累，但後續爆發力極強。",[118,1332,1334],{"id":1333},"六總結與展望","六、總結與展望",[122,1336,1337,1338,1341,1342,1345,1346,1349,1350,1353,1354,1357],{},"CALM 成功構建了從離散到連續的完整基礎設施，其組件協同形成了一個強大的生態閉環：\n",[125,1339,1340],{},"魯棒自編碼器"," (高保真壓縮) → ",[125,1343,1344],{},"頻寬倍增"," (步數縮短至 1\u002FK) → ",[125,1347,1348],{},"單步生成引擎"," (極速推理) → ",[125,1351,1352],{},"拒絕採樣"," (多樣性可調) → ",[125,1355,1356],{},"BrierLM"," (公正尺標)。",[122,1359,1360,1361,1364,1365,1368,1369,1372],{},"這項研究證明了語言模型的未來可能不在離散的像素與詞表中，而是在連續的波瀾裡。這為未來的",[125,1362,1363],{},"多模態連續生成","、",[125,1366,1367],{},"強化學習整合","以及",[125,1370,1371],{},"終端設備部署","開啟了全新的紀元。",[1138,1374,1375],{},[122,1376,1377,1380],{},[125,1378,1379],{},"開放資源","：相關論文與程式碼已在 GitHub 開源，標誌著大語言模型從離散向連續遷徙的開端。",{"title":966,"searchDepth":967,"depth":967,"links":1382},[1383,1384,1387,1388,1389,1390],{"id":1028,"depth":967,"text":1029},{"id":1057,"depth":967,"text":1058,"children":1385},[1386],{"id":1073,"depth":970,"text":1074},{"id":1148,"depth":967,"text":1149},{"id":1264,"depth":967,"text":1265},{"id":1303,"depth":967,"text":1304},{"id":1333,"depth":967,"text":1334},"\u002Fimages\u002Fblog\u002F2510.27688v1.webp","2026-08-06","傳統大模型逐字（Token-by-token）生成的效率已觸及物理天花板。CALM 將離散 Token 轉換為連續向量（Continuous Vectors），將生成步數縮減至原來的 1\u002FK，為大語言模型的擴充開闢了全新的效率路徑。",{},"\u002Fblog\u002Fzh-tw\u002Farxiv-2510-27688v1",{"title":995,"description":1393},"arxiv-2510-27688v1","blog\u002Fzh-TW\u002Farxiv-2510-27688v1",[987,1400,1401],"llm","efficiency","YXovptigvOJLPbjjtVgdCae3S6_ZcSZxJw3mH-BUBnc",{"id":1404,"title":1405,"author":103,"body":1406,"cover":2102,"coverAlt":1405,"date":2103,"description":2104,"draft":977,"extension":978,"featured":977,"lang":979,"meta":2105,"navigation":981,"path":2106,"seo":2107,"slug":2108,"stem":2109,"tags":2110,"translationKey":2108,"updated":990,"__hash__":2113},"blog\u002Fblog\u002Fzh-TW\u002Farxiv-2604-04921v1.md","TriAttention：程式碼與推理智能體之三角函數自適應上下文修剪機制與理論深度分析報告",{"type":105,"value":1407,"toc":2078},[1408,1413,1419,1424,1427,1430,1433,1438,1441,1447,1450,1456,1459,1462,1465,1471,1474,1480,1483,1486,1491,1494,1505,1523,1528,1536,1547,1569,1572,1583,1595,1614,1619,1622,1628,1631,1757,1760,1763,1783,1789,1792,1795,1809,1815,1818,1832,1837,1840,1846,1849,1852,1855,1861,1864,1867,1881,1884,1889,1892,1899,1902,1907,1910,1913,1916,1922],[118,1409,1411],{"id":1410},"參考文獻與專案資源",[125,1412,1410],{},[122,1414,1415],{},[112,1416,1417],{"href":1417,"rel":1418},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.04921",[116],[118,1420,1422],{"id":1421},"執行摘要與前瞻視野",[125,1423,1421],{},[122,1425,1426],{},"隨著人工智慧在軟體工程與複雜邏輯運算領域的快速演進，大語言模型（Large Language Models, LLMs）的應用範疇已經從早期的單純文本補全（Code Completion），跨越至具備自主決策與長鏈條推理能力的代理系統（Autonomous Agents）。在此發展軌跡中，無論是處理數學競賽等級的複雜推導，還是執行大規模程式碼庫的代理操作，系統皆無可避免地撞上了一道物理與認知的邊界——「上下文記憶體牆」（Context Memory Wall）1。這道牆的本質在於，當模型進行長序列生成時，必須在圖形處理器（GPU）的視訊記憶體（VRAM）中持續維護龐大的鍵值快取（Key-Value Cache, KV Cache），導致記憶體消耗隨著生成長度的增加而呈現線性甚至超線性增長，最終引發系統記憶體耗盡（Out-of-Memory, OOM）的災難性中斷 2。",[122,1428,1429],{},"為了解決這項阻礙長篇推理落地的系統性瓶頸，由麻省理工學院（MIT）、NVIDIA 與浙江大學（Zhejiang University）所組成的聯合研究團隊，提出了一項名為 TriAttention 的革命性 KV 快取壓縮框架 4。不同於過去依賴啟發式規則或線上注意力分數觀察的傳統壓縮技術，TriAttention 首度將視角深入至 Transformer 注意力機制的底層幾何空間，揭露了旋轉位置編碼（Rotary Position Embedding, RoPE）應用前的「Pre-RoPE 空間」中，查詢（Query, Q）與鍵（Key, K）向量存在高度集中的分佈特性 2。研究團隊發現，這種物理上的集中現象，允許我們透過純粹的數學演繹——具體而言是三角函數級數（Trigonometric Series）——來預測上下文標記（Tokens）在未來生成過程中的相對重要性，從而達成極致精準的自適應上下文修剪 5。",[122,1431,1432],{},"實證數據顯示，TriAttention 架構在保留關鍵推理狀態的能力上達到了前所未有的高度。在極具挑戰性的數學推理基準（如 AIME25）中，該技術不僅能在維持與全注意力機制（Full Attention）完全一致的推理準確率下運作，更實現了高達 10.7 倍的 KV 記憶體縮減與 2.5 倍的整體吞吐量（Throughput）提升 2。更具深遠影響的是其對邊緣計算（Edge Computing）與消費級硬體生態的重塑。藉由與 OpenClaw 網關等框架的深度整合，TriAttention 成功打破了高階運算硬體的物理藩籬，使得擁有高達 32B 參數級別的複雜推理模型，得以流暢且無損地部署於僅具備 24GB 顯示記憶體的單張消費級 NVIDIA RTX 4090 顯示卡上 2。結合 Apple Silicon（MLX 架構）與 llama.cpp 等開源生態的廣泛支援與效能疊加，本報告將深入剖析 TriAttention 的理論基礎、數學機制與實證表現，並勾勒其在未來程式碼與推理智能體架構中的關鍵基礎設施地位。",[118,1434,1436],{"id":1435},"理論背景與上下文危機的實證分析",[125,1437,1435],{},[122,1439,1440],{},"要深刻理解 TriAttention 所帶來的技術突破，我們必須先解構當前大語言模型在長上下文推理市場所面臨的系統性缺陷，以及為何現有主流的壓縮演算法會在深度的邏輯推演與遞迴任務中頻繁面臨結構性的崩潰。",[108,1442,1444],{"id":1443},"認知負載與-kv-快取的成本分析",[125,1445,1446],{},"認知負載與 KV 快取的成本分析",[122,1448,1449],{},"當代大語言模型的核心運算機制基於 Transformer 架構中的自注意力機制（Self-Attention Mechanism）。在生成式推理（Autoregressive Generation）的過程中，模型必須計算當下生成的查詢向量與過去所有歷史標記的鍵向量之間的內積，以衡量上下文的語意關聯性 6。為了避免針對歷史標記進行重複的矩陣乘法運算，系統架構會將歷史的鍵向量與值向量（Value Vectors）暫存於高速的圖形記憶體中。這種以空間換取時間的策略雖然有效降低了計算延遲，卻也將系統推向了記憶體容量的極限邊緣。在數學推理、程式碼重構或代理化環境探索等任務中，智能體往往需要讀取並生成長達數萬個標記的脈絡（例如 32K Tokens 的生成長度），這使得 KV 快取的實體記憶體佔用量急遽膨脹，甚至反客為主，超越了模型權重本身的儲存需求 3。這種高昂的記憶體成本不僅大幅限制了批次處理（Batch Processing）的規模，更使得長序列推理無法在邊緣設備上普及。",[108,1451,1453],{"id":1452},"傳統-post-rope-壓縮機制的結構性失效",[125,1454,1455],{},"傳統 Post-RoPE 壓縮機制的結構性失效",[122,1457,1458],{},"為應對上述的上下文危機，學術界與產業界近年來提出了諸多 KV 快取壓縮方法。然而，過往的主流技術路徑幾乎全數落入「Post-RoPE 壓縮方法」（Post-RoPE Compression Methods）的範疇。這些方法的共同核心邏輯，是透過觀察模型近期生成的查詢向量所產生的注意力分數（Attention Scores），來推斷哪些歷史標記具有較高的重要性，並將低分標記從快取中剔除。",[122,1460,1461],{},"具體而言，諸如 SnapKV 演算法透過在一個局部的觀察視窗內計算注意力分佈，並聚合這些分數以預測未來生成時可能需要的「重度命中者」（Heavy Hitters）2；Scissorhands 則基於「重要性持久」（Persistence of Importance）的假說，利用歷史累積的注意力分佈來引導快取的剔除決策 2；而近期針對推理模型優化的 R-KV 演算法，亦是結合最近期查詢的注意力分數與冗餘狀態檢測機制來為快取標記進行評分 2；此外，LazyEviction 透過追蹤觀察視窗內標記重要性的重現頻率，採取延遲剔除的保守策略 2。另外如 Ada-KV 等方法，雖引入了自適應預算分配的概念，允許不同注意力頭擁有不同的快取大小，但其底層判斷基準依然未脫離線上注意力分數的框架 13。",[122,1463,1464],{},"儘管這些方法在短文本或一般摘要任務中展現了成效，但在面對長鏈條推理時卻暴露出致命的缺陷。其根本原因在於旋轉位置編碼（Rotary Position Embedding, RoPE）對向量空間所造成的幾何擾動 2。RoPE 的數學本質是在複數平面上，依據標記的絕對位置對向量進行頻率遞增的旋轉。這意味著，當一個查詢向量隨著生成過程在序列中不斷向後移動時，其在高維空間中的指向會持續發生劇烈的旋轉變化 2。因此，在套用 RoPE 之後的空間（即 Post-RoPE 空間）中，近期的查詢向量完全無法穩定地代表未來的查詢向量。當系統依賴這些極度不穩定的近期查詢來評估全域重要性時，會面臨「具代表性的查詢數量極少」的統計困境，導致演算法頻繁選錯 Top-K 關鍵標記 2。在嚴密的邏輯推理中，提前剔除任何一個關鍵的「中間推理狀態」，都會切斷邏輯鏈條，進而在模型的後端輸出引發災難性的邏輯崩潰與幻覺。",[118,1466,1468],{"id":1467},"triattention-系統架構與數學機制深度剖析",[125,1469,1470],{},"TriAttention 系統架構與數學機制深度剖析",[122,1472,1473],{},"面對 Post-RoPE 方法在長篇推理上的系統性極限，TriAttention 團隊選擇了一條截然不同的理論路徑。該架構並非在現有的注意力評分機制上進行邊緣微調，而是回歸矩陣運算與幾何分佈的本質，進行了徹底的數學重構。",[108,1475,1477],{"id":1476},"pre-rope-空間中的-qk-集中現象",[125,1478,1479],{},"Pre-RoPE 空間中的 Q\u002FK 集中現象",[122,1481,1482],{},"TriAttention 的核心突破源自於一個基礎但過去未被充分重視的觀察：研究團隊將檢視的視角從不斷動態旋轉的 Post-RoPE 空間，回溯至尚未套用位置編碼的初始狀態，亦即「Pre-RoPE 空間」2。在這個未經幾何扭曲的原始張量空間中，研究人員揭露了一個令人驚訝的模型內部屬性：在絕大多數的注意力頭（Attention Heads）之中，查詢向量（Q）與鍵向量（K）並非呈現隨機或均勻分佈，而是高度且緊密地集中在某些固定的非零中心點（Fixed Non-zero Centers）周圍 2。",[122,1484,1485],{},"這種物理上的向量集中現象具有極高的全域穩定性。它完全不受標記在序列中的絕對位置影響，也不因輸入上下文的具體語意內容或提示詞結構的改變而發生位移 9。換言之，這些中心點是模型權重在海量數據預訓練過程中，所內化形成的一種內在結構特徵（Intrinsic Property）。為精確量化這種集中程度的穩定性，研究引入了方向統計學（Directional Statistics）中的「平均合成向量長度」（Mean Resultant Length，通常記為 R）作為指標 5。數值 R 的範圍介於 0 與 1 之間，當 R 趨近於 1 時，代表該空間內的向量群聚程度極高、變異數極小。實證測量資料明確指出，在諸如 Qwen3-8B 等當代大型語言模型中，高達 90% 的注意力頭其 R 值皆超過了 0.95，這強而有力地證實了 Q\u002FK 集中現象的普遍存在與高度可靠性 5。",[108,1487,1489],{"id":1488},"三角函數級數轉換與位置偏好預測",[125,1490,1488],{},[122,1492,1493],{},"當我們確認了 Q 與 K 向量在 Pre-RoPE 空間中高度集中於穩定中心點後，原本複雜且高度動態的注意力對數幾率（Attention Logit，即送入 Softmax 函數之前的原始關聯分數）計算，便迎來了大幅度化簡的數學契機 5。",[122,1495,1496,1497,1504],{},"由於 Pre-RoPE 的中心點是固定不變的，當我們在其上套用旋轉位置編碼（RoPE）時，其數學等價於對一個固定的基底向量進行已知頻率與角度的旋轉變換。這項特質使得未來的注意力模式不再需要依賴消耗算力的即時（Online）矩陣內積來計算，而是可以直接透過解析解方程式進行嚴謹的數學演繹預測。具體而言，該研究證明注意力 Logit 可以被精確地近似展開為一個僅取決於查詢與鍵之間相對位置距離（Positional Distance，記為 ",[1498,1499],"img",{"className":1500,"src":1502,"alt":1503},[1501],"inline-math","\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage1.png","公式","）的三角函數級數（Trigonometric Series）2。",[122,1506,1507,1508,1512,1513,1517,1518,1522],{},"在上述公式中，頻率 ",[1498,1509],{"className":1510,"src":1511,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage2.png"," 繼承自 RoPE 的設計，而展開式中的係數 ",[1498,1514],{"className":1515,"src":1516,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage3.png"," 與 ",[1498,1519],{"className":1520,"src":1521,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage4.png"," 則完全由 Pre-RoPE 空間中固定的 Q\u002FK 中心點座標所決定。由於這些中心點在模型部署前即可視為靜態常數，研究團隊得以透過離線的校準數據（Calibration Data）預先計算並提取這些統計特徵 5。這種將線上運算負擔轉移至離線統計的策略，徹底讓系統擺脫了對近期即時查詢分數的依賴，從根本上解決了位置旋轉帶來的評估失準問題。",[108,1524,1526],{"id":1525},"雙軌評分機制與自適應融合演算法",[125,1527,1525],{},[122,1529,1530,1531,1535],{},"在實際執行 KV 快取剔除操作時，TriAttention 運用了上述的理論基礎，構建了一套無需觀察即時查詢的預測型評分演算法。當模型的生成長度觸及預先設定的 KV 快取預算上限時，系統會為每一個快取中的鍵向量 ",[1498,1532],{"className":1533,"src":1534,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage5.png"," 賦予一個綜合的重要性分數。為確保在不同特性的注意力頭中皆能保持高精度，該機制包含了兩大核心運算模組：",[144,1537,1539],{"id":1538},"_1-三角函數級數分數-trigonometric-series-score",[125,1540,1541,1542,1546],{},"1. 三角函數級數分數 (Trigonometric Series Score, ",[1498,1543],{"className":1544,"src":1545,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage6.png",")",[122,1548,1549,1550,1553,1554,1558,1559,1563,1564,1568],{},"針對那些集中度極高的注意力頭，",[1498,1551],{"className":1552,"src":1545,"alt":1503},[1501]," 模組扮演了主要的篩選角色。它利用離線預先計算好的 Q 向量中心（",[1498,1555],{"className":1556,"src":1557,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage7.png","）以及實際寫入快取的鍵向量特徵（",[1498,1560],{"className":1561,"src":1562,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage8.png","），來估計該鍵向量在未來遭遇位於不同距離 ",[1498,1565],{"className":1566,"src":1567,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage9.png"," 的查詢時，將會獲得多少注意力關注 5。由於一個被保留的鍵向量在未來可能會被位於各種不同偏移位置的查詢所關注，為了確保評估的全域穩健性，TriAttention 會針對一組透過幾何間距（Geometric Spacing）分佈的未來偏移量集合（Future Offsets）進行加權平均計算 5。其評估函數可數學表示為：",[122,1570,1571],{},"此計算式深刻地利用了特定頻段（Frequency Bands）與相對距離之間的餘弦映射關係，賦予模型強大且可預測的位置偏好（Distance Preferences）分析能力，例如模型如何優先關注鄰近的標記或特定週期的結構化標記 2。",[144,1573,1575],{"id":1574},"_2-基於範數的調節分數-norm-based-score-與自適應權重",[125,1576,1577,1578,1582],{},"2. 基於範數的調節分數 (Norm-Based Score, ",[1498,1579],{"className":1580,"src":1581,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage10.png",") 與自適應權重",[122,1584,1585,1586,1590,1591,1594],{},"儘管絕大多數的注意力頭表現出高度的集中，但仍有少數注意力頭的 ",[1498,1587],{"className":1588,"src":1589,"alt":1503},[1501],"\u002Fimages\u002Fblog\u002Farxiv-2604-04921v1\u002Fimage11.png"," 值較低，呈現出較為發散的分佈。在這些發散的空間中，單純依賴幾何中心點進行三角函數預測會引入顯著的估計誤差。為了彌補這項短板，TriAttention 引入了 ",[1498,1592],{"className":1593,"src":1581,"alt":1503},[1501]," 模組。該模組不依賴嚴格的方向性中心，而是藉由預期的查詢範數（Expected Query Norm）大小，針對不同的頻率帶進行加權，以此作為評估鍵向量重要性的額外輔助訊號 3。",[122,1596,1597,1598,1601,1602,1605,1606,1609,1610,1613],{},"在整合階段，系統巧妙地利用了先前計算的平均合成向量長度 ",[1498,1599],{"className":1600,"src":1589,"alt":1503},[1501]," 作為自適應權重（Adaptive Weight）。對於 ",[1498,1603],{"className":1604,"src":1589,"alt":1503},[1501]," 接近 1 的注意力頭，系統會賦予 ",[1498,1607],{"className":1608,"src":1545,"alt":1503},[1501]," 極高的權重；反之，對於較為發散的注意力頭，系統則自動增加 ",[1498,1611],{"className":1612,"src":1581,"alt":1503},[1501]," 的影響力。這種動態融合機制確保了模型在所有的網路深度與不同的特徵提取通道中，皆能維持最優的快取壓縮精度 3。",[118,1615,1617],{"id":1616},"實證分析與推理基準性能表現",[125,1618,1616],{},[122,1620,1621],{},"理論架構的優越性最終必須透過嚴苛的經驗數據來檢驗。TriAttention 在多項涵蓋複雜數學推導、深度遞迴模擬以及長上下文泛用檢索的基準測試中，皆展現了壓倒性的效能優勢，不僅大幅超越了現有的 Post-RoPE 壓縮技術，更在極端壓縮比之下逼近了無損（Lossless）的全注意力機制表現。",[108,1623,1625],{"id":1624},"數學推理與吞吐量極限測試-aime24-aime25-math-500",[125,1626,1627],{},"數學推理與吞吐量極限測試 (AIME24, AIME25, MATH-500)",[122,1629,1630],{},"數學推理任務被學界視為檢驗 KV 快取壓縮演算法保留關鍵資訊能力的「終極試金石」。這是因為數學解題過程中的邏輯狀態轉移是高度嚴密的，任何一個前置條件或中間計算結果的錯誤剔除，都會導致後續推導的全面潰敗。實驗數據顯示，TriAttention 成功在極端的記憶體壓縮率與推論準確率之間取得了前所未見的完美平衡。",[1076,1632,1633,1662],{},[1079,1634,1635],{},[1082,1636,1637,1641,1644,1647,1650,1653,1656,1659],{},[1085,1638,1640],{"align":1639},"left","基準測試項目 (Benchmark)",[1085,1642,1643],{"align":1639},"總上下文限制",[1085,1645,1646],{"align":1639},"TriAttention KV 預算",[1085,1648,1649],{"align":1639},"全注意力準確率 (Full Acc)",[1085,1651,1652],{"align":1639},"TriAttention 準確率",[1085,1654,1655],{"align":1639},"全注意力吞吐量",[1085,1657,1658],{"align":1639},"TriAttention 吞吐量",[1085,1660,1661],{"align":1639},"速度提升比",[1095,1663,1664,1696,1727],{},[1082,1665,1666,1671,1674,1677,1680,1685,1688,1691],{},[1100,1667,1668],{"align":1639},[125,1669,1670],{},"MATH-500",[1100,1672,1673],{"align":1639},"32,768 Tokens",[1100,1675,1676],{"align":1639},"1,024 Tokens",[1100,1678,1679],{"align":1639},"69.6%",[1100,1681,1682],{"align":1639},[125,1683,1684],{},"68.4%",[1100,1686,1687],{"align":1639},"222.8 tok\u002Fs",[1100,1689,1690],{"align":1639},"1,405.2 tok\u002Fs",[1100,1692,1693],{"align":1639},[125,1694,1695],{},"6.3x",[1082,1697,1698,1703,1706,1709,1712,1717,1719,1722],{},[1100,1699,1700],{"align":1639},[125,1701,1702],{},"AIME24",[1100,1704,1705],{"align":1639},"-",[1100,1707,1708],{"align":1639},"4,096 Tokens",[1100,1710,1711],{"align":1639},"57.1%",[1100,1713,1714],{"align":1639},[125,1715,1716],{},"54.6%",[1100,1718,1687],{"align":1639},[1100,1720,1721],{"align":1639},"413.9 tok\u002Fs",[1100,1723,1724],{"align":1639},[125,1725,1726],{},"1.9x",[1082,1728,1729,1734,1737,1740,1743,1747,1749,1752],{},[1100,1730,1731],{"align":1639},[125,1732,1733],{},"AIME25",[1100,1735,1736],{"align":1639},"32,000+ Tokens",[1100,1738,1739],{"align":1639},"3,072 Tokens",[1100,1741,1742],{"align":1639},"40.8%",[1100,1744,1745],{"align":1639},[125,1746,1742],{},[1100,1748,1687],{"align":1639},[1100,1750,1751],{"align":1639},"563.5 tok\u002Fs",[1100,1753,1754],{"align":1639},[125,1755,1756],{},"2.5x",[122,1758,1759],{},"數據來源彙整自 TriAttention 官方基準測試報告與開源社群分析 5",[122,1761,1762],{},"深入分析上述效能矩陣，我們可以提煉出幾項關鍵的洞察：",[177,1764,1765,1771,1777],{},[158,1766,1767,1770],{},[125,1768,1769],{},"極端預算環境下的高認知韌性："," 在 MATH-500 測試中，系統僅被賦予了極度苛刻的 1,024 個 Tokens 的快取空間（佔最大可用上下文空間 32,768 Tokens 的約 3.1%），但 TriAttention 卻能維持高達 68.4% 的推理準確率，與未經任何壓縮的全注意力機制（69.6%）僅有微乎其微的差距，並同時創造了 6.3 倍的驚人吞吐量加速表現 5。",[158,1772,1773,1776],{},[125,1774,1775],{},"長鏈條無損壓縮的實踐："," 在難度極高且生成長度可達 32K 的 AIME25 測試環境中，TriAttention 憑藉僅 3,072 Tokens 的快取預算，完美追平了全注意力機制的 40.8% 準確率。這意味著系統達成了高達 10.7 倍的 KV 記憶體實質縮減，並實現了 2.5 倍的速度躍升 2。相較之下，在同等的壓縮效率要求下，現行領先的其他基準壓縮方法其準確率通常僅剩下一半 2。",[158,1778,1779,1782],{},[125,1780,1781],{},"對比同儕演算法的壓倒性勝出："," 在 AIME24 的比較基準中，當使用 Qwen3-8B 模型並設定 2,048 Tokens 預算限制時，TriAttention 取得了 42.1% 的準確率。而同為針對推理優化的競爭演算法 R-KV 僅能勉強達到 25.4%，兩者之間存在高達 16.7 個百分點的巨大效能鴻溝 5。",[108,1784,1786],{"id":1785},"結構性記憶保留測試recursive-state-query-benchmark",[125,1787,1788],{},"結構性記憶保留測試：Recursive State Query Benchmark",[122,1790,1791],{},"為了更精確地診斷並量化各式壓縮演算法在處理長鏈條邏輯運算時的「狀態遺忘」問題，研究團隊創新地設計並引入了「遞迴狀態查詢」（Recursive State Query）基準測試 5。這項測試的設計邏輯建構於深度優先搜尋（Depth-First Search, DFS）的遞迴探索模擬之上，強制要求大語言模型在生成冗長序列的同時，必須精確維護並在後續步驟中回溯至極早期的中間分岔節點狀態 2。",[122,1793,1794],{},"在 DFS 遞迴的脈絡中，任何一個父節點狀態的錯誤剔除，都會使得模型在需要回溯（Backtracking）時失去路徑導航，進而導致後續搜索空間的整體崩潰。這項嚴苛的測試徹底揭示了傳統 Post-RoPE 方法的致命盲點：",[155,1796,1797,1803],{},[158,1798,1799,1802],{},[125,1800,1801],{},"R-KV 等方法的災難性衰退："," 在遞迴深度（Depth）較淺的情況下，R-KV 尚能應付；當深度達到 14 時，其仍能維持約 61% 的準確率。然而，當遞迴深度進一步被推升至 16，跨越了其依賴近期查詢的保留閾值時，準確率隨即呈現懸崖式的暴跌，僅存 31% 5。這清楚且無情地證明了，基於近期注意力分數的機制，會因為在生成深層子節點的過程中較少關注到父節點，而無意間將這些至關重要的歷史遞迴狀態標記為「低重要性」並予以捨棄。",[158,1804,1805,1808],{},[125,1806,1807],{},"TriAttention 的拓撲結構完整性："," 即使在施加中度至重度的記憶體限制壓力下，TriAttention 於深度達 16 的複雜遞迴環境中，依然展現出與全注意力機制高度匹敵的穩定記憶表現 5。這強烈印證了其基於三角函數的先驗預測模型，能夠在不依賴線上查詢的情況下，有效保護並鎖定跨越漫長時序的關鍵拓撲與邏輯結構 15。",[108,1810,1812],{"id":1811},"泛用語言理解與高維度檢索任務-longbench-ruler",[125,1813,1814],{},"泛用語言理解與高維度檢索任務 (LongBench & RULER)",[122,1816,1817],{},"為了證明 TriAttention 底層的 Q\u002FK 集中現象不僅是針對數學解題的特化現象，研究團隊亦將其應用於通用自然語言處理與海量資訊檢索任務中。",[155,1819,1820,1826],{},[158,1821,1822,1825],{},[125,1823,1824],{},"LongBench 綜合測試："," 在涵蓋問答系統、文本摘要、少樣本分類、檢索增強與程式碼分析等 16 個子任務的 LongBench 綜合評測中，於 Qwen3-8B 模型施加 50% KV 預算限制的條件下，TriAttention 取得了全場最高的 48.1 平均分。其在 16 個子任務中強勢贏得 11 項第一，並領先由 Ada-KV 與 SnapKV 組合的最佳複合基線達 2.5 分 5。",[158,1827,1828,1831],{},[125,1829,1830],{},"RULER 檢索基準："," 在專注於長篇幅大海撈針（Needle-in-a-Haystack）的 RULER 檢索測試中，於 4K 上下文長度下，TriAttention 斬獲了 66.1 分的高分，與主要競爭對手 SnapKV 之間拉開了 10.5 分的驚人差距 5。這些數據無可辯駁地證實了，無需依賴即時查詢的頻域壓縮策略，在處理高雜訊環境下的資訊檢索時具有無可比擬的優勢 5。",[118,1833,1835],{"id":1834},"邊緣硬體部署與開源生態系擴張情報",[125,1836,1834],{},[122,1838,1839],{},"TriAttention 的理論突破並非僅停留在學術殿堂的數據報表上，其核心價值更在於迅速且猛烈地衝擊了開源社群，並徹底重塑了消費級硬體與邊緣運算設備部署大型模型的實體邊界。以下為本報告深入彙整當前開發者社群在各式硬體平台上的最新實踐情報。",[108,1841,1843],{"id":1842},"openclaw-網關整合與單卡-32b-模型的消費級革命",[125,1844,1845],{},"OpenClaw 網關整合與單卡 32B 模型的消費級革命",[122,1847,1848],{},"回顧過往的系統架構實踐，當模型的生成上下文長度逐漸逼近 GPU 的物理記憶體極限時，推理引擎必須被迫啟動卸載（Offloading）機制，將部分 KV 狀態移轉至系統主記憶體（System RAM）中。然而，由於 PCIe 匯流排的頻寬與延遲限制，即便系統配備了最頂級的 DDR5 記憶體，這種頻繁跨越硬體邊界的資料搬運依舊會引發極度嚴重的延遲突波，這被開發者社群戲稱為「卸載地獄」（Offload Hell）11。",[122,1850,1851],{},"透過與專注於本地安全運行時的 OpenClaw 網關框架進行深度且原生的整合 2，TriAttention 徹底斬斷了對 PCIe 頻寬的依賴。高達 10.7 倍的壓縮率使得所有的 KV 狀態得以被牢牢鎖定在 GPU 的超高速 VRAM 內部 11。來自社群的極限基準測試報告指出，藉由這項技術，包含 Gemma 4 31B（或同等級 32B 參數規模）在內的龐大推理模型，如今已能毫無卡頓地順暢運行於僅擁有 24GB 顯示記憶體的消費級 NVIDIA RTX 4090 顯示卡上 5。",[122,1853,1854],{},"在社群所執行的複雜 SQL 生成測試場景中（涵蓋針對混亂資料庫結構所進行的嵌套 JOIN 語法模擬），搭配輕量級 E2B 草稿模型進行投機解碼（Speculative Decoding）時，包含主模型權重、草稿模型以及壓縮後的 KV 快取，整體的 VRAM 佔用量被精準控制在 21.5GB 的安全範圍內 11。在如此緊湊的記憶體預算下，SQL 查詢語句的生成呈現近乎瞬時的超低延遲響應，展現出極具侵略性與精準度的指令遵循能力，且在長達 15K Tokens 的提示詞輸入下，亦未曾發生結構性的幻覺崩潰 11。這項成果標誌著 24GB 顯存的硬體「物理天花板」，已被純粹軟體演算法層面的顛覆性優化所大幅抬升 11。",[108,1856,1858],{"id":1857},"apple-silicon-mlx-統一記憶體生態系的擴展",[125,1859,1860],{},"Apple Silicon (MLX) 統一記憶體生態系的擴展",[122,1862,1863],{},"為了解決在 MacBook 等行動設備上部署強大 AI 助理的迫切需求，開源社群的活躍開發者（@DeadByDawn101）以極快的速度為 TriAttention 貢獻了對 Apple Silicon 生態系的 MLX 框架支援（涵蓋 M1 至最新 M5 世代晶片）7。MLX 是專為 Apple 獨特的統一記憶體架構（Unified Memory）與神經加速器（Neural Accelerators）所量身打造的高效張量運算庫 19。",[122,1865,1866],{},"在配備 MLX 的最新 Mac 設備上執行的基準測試，進一步驗證了 TriAttention 在非 CUDA 邊緣運算環境下的卓越適應性：",[155,1868,1869,1875],{},[158,1870,1871,1874],{},[125,1872,1873],{},"高階專業級配置："," 搭載 M4 Max 晶片（具備 128GB 統一記憶體）的工作站，在執行 Gemma 4 E4B 模型並設定 4096 的寬裕 KV 預算下，可達到約高達 35 Tokens\u002Fs 的極速吞吐量 18。",[158,1876,1877,1880],{},[125,1878,1879],{},"中階消費級配置："," 搭載 M2 Pro 晶片（具備 32GB 統一記憶體）的筆記型電腦，在執行 Gemma 4 E2B 模型並將 KV 預算壓縮至 2048 Tokens 時，依然能維持約 28 Tokens\u002Fs 的流暢生成體驗 18。",[122,1882,1883],{},"這項跨平台的底層架構整合，不僅成功打破了長久以來由 CUDA 生態系所主導的壟斷局面，更為「本地優先」（Local-first）的邊緣 AI 代理應用，提供了堅實且具備高度隱私保護能力的基礎設施。",[108,1885,1887],{"id":1886},"多元推理後端與正交量化技術的幾何級數疊加效應",[125,1888,1886],{},[122,1890,1891],{},"社群層面的另一項重大工程里程碑，是由開發者 @domvox 所主導完成的 C\u002Fggml 架構移植專案。該專案將 TriAttention 的底層邏輯成功導入了廣受歡迎的 llama.cpp 框架，這不僅解鎖了對 AMD GPU（基於 HIP\u002FROCm 運算架構）的全面支援 7，更促成了一項驚人的技術化學反應。",[122,1893,1894,1895,1898],{},"具體的情報指出，TriAttention 具備與低位元權重量化技術（例如 TurboQuant）進行",[125,1896,1897],{},"正交疊加","的獨特屬性。TurboQuant 致力於壓縮模型權重與快取元素的精度（例如將儲存格式降至 3-bit 或 4-bit），而 TriAttention 則專注於壓縮序列的物理長度。當這兩項技術在 llama.cpp 框架中被結合運用時，架構層面的自適應剔除加上資料型態層面的位元壓縮，實現了高達 30 倍以上的整體 KV 快取記憶體幾何級數縮減（例如 75% 序列修剪乘以 1.33x 至 5.12x 不等的精度提升）1。這意味著開發團隊現在能夠在極度貧乏的記憶體環境中，維持超大型模型深邃的脈絡感知與上下文連結能力。",[122,1900,1901],{},"此外，TriAttention 官方與社群聯合推動的開發藍圖（Roadmap）也正以極快的節奏持續推進。目前專案已確認整合進 SGLang 等高效能分散式推理後端 7，並有社群成員（@dscain）正著手進行針對 NVIDIA DGX Spark (GB10) 企業級伺服器架構的深度適配 7。在多模態應用方面，TriAttention 更成功跨足至擴增實境（AR）與長篇影片生成領域（透過與 LongLive 影片生成專案的結合），進一步驗證了該三角函數壓縮演算法在處理高維度、高密度時序視覺資料上的強大泛用能力與未來發展潛力 7。",[118,1903,1905],{"id":1904},"結論與基礎設施的演進趨勢",[125,1906,1904],{},[122,1908,1909],{},"總結上述之深度分析，TriAttention 的問世不僅僅是演算法效能榜單上的一次常規刷新，更深刻揭示了大語言模型底層架構研究思維的一次關鍵性轉折。傳統的壓縮思維往往陷入系統層面「硬體資源調度」的泥沼，或過度依賴統計層面高度不穩定的「後驗概率」（如計算生成過程中的即時注意力分數），而 TriAttention 則展現了極致的數學優雅，將解決問題的視角拉高並回歸至張量空間的「先驗幾何結構」——即 Pre-RoPE 空間中的 Q\u002FK 集中現象。",[122,1911,1912],{},"透過將難以捉摸、不斷旋轉的動態查詢，轉譯為具備高度規律性與預測性的嚴謹三角函數級數，該架構成功且徹底地將 KV 快取的生命週期管理，從耗費龐大算力的「線上觀測」模式，昇華為精準的「離線數學預測」。這種運算範式的轉移帶來了無可比擬的邊際效益：在諸如 AIME25 這種無情考驗機器認知極限的深層推理任務中，能夠達成 10.7 倍的實質記憶體縮減與 2.5 倍的吞吐量躍升，並且完全不伴隨任何準確率的折損，這無疑是對現有所有 Post-RoPE 演算法效能的一次降維打擊。",[122,1914,1915],{},"從工程實踐與產業落地的宏觀視角來評估，TriAttention 正在強勢重新定義本地端推理硬體的價值衡量基準。當一張要價相對低廉的 24GB RTX 4090 顯示卡，或是具備 32GB 統一記憶體的消費級 Apple 設備，都能夠在免除 PCIe 頻寬瓶頸且毫無延遲的狀態下，順暢乘載 32B 參數級別的複雜智能體代理任務時，意味著長上下文運算的特權將不再被超大規模的雲端 GPU 叢集所壟斷。隨著 MLX、llama.cpp、vLLM、SGLang 以及 OpenClaw 等活躍開源生態後端的全面無縫整合，以三角函數為核心數學引擎的預測型快取壓縮架構，預期將在短時間內成為推動下一代個人化邊緣 AI、自主化軟體工程智能體，以及分散式推理基礎設施的標準核心配備。",[144,1917,1919],{"id":1918},"works-cited",[125,1920,1921],{},"Works cited",[177,1923,1924,1931,1938,1944,1951,1958,1965,1972,1979,1986,1993,2000,2007,2015,2022,2029,2036,2043,2050,2057,2064,2071],{},[158,1925,1926,1927],{},"TriAttention: Efficient Long Reasoning with Trigonometric KV Compression - Hugging Face, accessed May 11, 2026, ",[112,1928,1929],{"href":1929,"rel":1930},"https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2604.04921",[116],[158,1932,1933,1934],{},"TriAttention: Efficient Long Reasoning with Trigonometric KV Compression - arXiv, accessed May 11, 2026, ",[112,1935,1936],{"href":1936,"rel":1937},"https:\u002F\u002Farxiv.org\u002Fhtml\u002F2604.04921v1",[116],[158,1939,1940,1941],{},"[2604.04921] TriAttention: Efficient Long Reasoning with Trigonometric KV Compression, accessed May 11, 2026, ",[112,1942,1417],{"href":1417,"rel":1943},[116],[158,1945,1946,1947],{},"[R] TriAttention: Efficient KV Cache Compression for Long-Context ..., accessed May 11, 2026, ",[112,1948,1949],{"href":1949,"rel":1950},"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FMachineLearning\u002Fcomments\u002F1serby2\u002Fr_triattention_efficient_kv_cache_compression_for\u002F",[116],[158,1952,1953,1954],{},"Researchers from MIT, NVIDIA, and Zhejiang University Propose TriAttention: A KV Cache Compression Method That Matches Full Attention at 2.5× Higher Throughput - MarkTechPost, accessed May 11, 2026, ",[112,1955,1956],{"href":1956,"rel":1957},"https:\u002F\u002Fwww.marktechpost.com\u002F2026\u002F04\u002F11\u002Fresearchers-from-mit-nvidia-and-zhejiang-university-propose-triattention-a-kv-cache-compression-method-that-matches-full-attention-at-2-5x-higher-throughput\u002F",[116],[158,1959,1960,1961],{},"TriAttention: Efficient Long Reasoning with Trigonometric KV Compression | alphaXiv, accessed May 11, 2026, ",[112,1962,1963],{"href":1963,"rel":1964},"https:\u002F\u002Fwww.alphaxiv.org\u002Foverview\u002F2604.04921",[116],[158,1966,1967,1968],{},"TriAttention — Efficient long reasoning with trigonometric KV cache compression. Enables OpenClaw local deployment on memory-constrained GPUs. - GitHub, accessed May 11, 2026, ",[112,1969,1970],{"href":1970,"rel":1971},"https:\u002F\u002Fgithub.com\u002FWeianMao\u002Ftriattention",[116],[158,1973,1974,1975],{},"TriAttention: Efficient Long Reasoning with Trigonometric KV Compression - YouTube, accessed May 11, 2026, ",[112,1976,1977],{"href":1977,"rel":1978},"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=BOog_w2N2as",[116],[158,1980,1981,1982],{},"Researchers from MIT, NVIDIA, and Zhejiang University Propose TriAttention: A KV Cache Compression Method That Matches Full Attention at 2.5× Higher Throughput - Reddit, accessed May 11, 2026, ",[112,1983,1984],{"href":1984,"rel":1985},"https:\u002F\u002Fwww.reddit.com\u002Fr\u002Fmachinelearningnews\u002Fcomments\u002F1sittj6\u002Fresearchers_from_mit_nvidia_and_zhejiang\u002F",[116],[158,1987,1988,1989],{},"TriAttention | Efficient KV Cache Compression for Long-Context Reasoning - Weian Mao, accessed May 11, 2026, ",[112,1990,1991],{"href":1991,"rel":1992},"https:\u002F\u002Fweianmao.github.io\u002Ftri-attention-project-page\u002F",[116],[158,1994,1995,1996],{},"A 32B model on a single RTX 4090? I benchmarked inference latency after the TriAttention drop. : r\u002FAskClaw - Reddit, accessed May 11, 2026, ",[112,1997,1998],{"href":1998,"rel":1999},"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FAskClaw\u002Fcomments\u002F1sjxxpr\u002Fa_32b_model_on_a_single_rtx_4090_i_benchmarked\u002F",[116],[158,2001,2002,2003],{},"MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression - arXiv, accessed May 11, 2026, ",[112,2004,2005],{"href":2005,"rel":2006},"https:\u002F\u002Farxiv.org\u002Fhtml\u002F2604.17695v1",[116],[158,2008,2009,2010],{},"Daily Papers - Hugging Face, accessed May 11, 2026, ",[112,2011,2014],{"href":2012,"rel":2013},"https:\u002F\u002Fhuggingface.co\u002Fpapers?q=KV+cache+capacity",[116],"https:\u002F\u002Fhuggingface.co\u002Fpapers?q=KV%20cache%20capacity",[158,2016,2009,2017],{},[112,2018,2021],{"href":2019,"rel":2020},"https:\u002F\u002Fhuggingface.co\u002Fpapers?q=KV+cache+compression",[116],"https:\u002F\u002Fhuggingface.co\u002Fpapers?q=KV%20cache%20compression",[158,2023,2024,2025],{},"triattention\u002Fdocs\u002Fresults.md at main · WeianMao\u002Ftriattention · GitHub, accessed May 11, 2026, ",[112,2026,2027],{"href":2027,"rel":2028},"https:\u002F\u002Fgithub.com\u002FWeianMao\u002Ftriattention\u002Fblob\u002Fmain\u002Fdocs\u002Fresults.md",[116],[158,2030,2031,2032],{},"TriAttention lets a single RTX 4090 run 32B. But what does full local inference latency actually look like? - Reddit, accessed May 11, 2026, ",[112,2033,2034],{"href":2034,"rel":2035},"https:\u002F\u002Fwww.reddit.com\u002Fr\u002FAskClaw\u002Fcomments\u002F1skv9k1\u002Ftriattention_lets_a_single_rtx_4090_run_32b_but\u002F",[116],[158,2037,2038,2039],{},"Yukang Chen - CatalyzeX, accessed May 11, 2026, ",[112,2040,2041],{"href":2041,"rel":2042},"https:\u002F\u002Fwww.catalyzex.com\u002Fauthor\u002FYukang%20Chen",[116],[158,2044,2045,2046],{},"triattention\u002Fdocs\u002Fmlx.md at main - GitHub, accessed May 11, 2026, ",[112,2047,2048],{"href":2048,"rel":2049},"https:\u002F\u002Fgithub.com\u002FWeianMao\u002Ftriattention\u002Fblob\u002Fmain\u002Fdocs\u002Fmlx.md",[116],[158,2051,2052,2053],{},"Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU, accessed May 11, 2026, ",[112,2054,2055],{"href":2055,"rel":2056},"https:\u002F\u002Fmachinelearning.apple.com\u002Fresearch\u002Fexploring-llms-mlx-m5",[116],[158,2058,2059,2060],{},"[2510.18921] Benchmarking On-Device Machine Learning on Apple Silicon with MLX - arXiv, accessed May 11, 2026, ",[112,2061,2062],{"href":2062,"rel":2063},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.18921",[116],[158,2065,2066,2067],{},"How Fast Is MLX? A Comprehensive Benchmark on 8 Apple Silicon Chips and 4 CUDA GPUs | Towards Data Science, accessed May 11, 2026, ",[112,2068,2069],{"href":2069,"rel":2070},"https:\u002F\u002Ftowardsdatascience.com\u002Fhow-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0\u002F",[116],[158,2072,2073,2074],{},"The Memory Wall Is Coming Down — What It Means for Coding, accessed May 11, 2026, ",[112,2075,2076],{"href":2076,"rel":2077},"https:\u002F\u002Falexlavaee.me\u002Fblog\u002Fattention-memory-coding-agents\u002F",[116],{"title":966,"searchDepth":967,"depth":967,"links":2079},[2080,2081,2082,2086,2091,2096,2101],{"id":1410,"depth":967,"text":1410},{"id":1421,"depth":967,"text":1421},{"id":1435,"depth":967,"text":1435,"children":2083},[2084,2085],{"id":1443,"depth":970,"text":1446},{"id":1452,"depth":970,"text":1455},{"id":1467,"depth":967,"text":1470,"children":2087},[2088,2089,2090],{"id":1476,"depth":970,"text":1479},{"id":1488,"depth":970,"text":1488},{"id":1525,"depth":970,"text":1525},{"id":1616,"depth":967,"text":1616,"children":2092},[2093,2094,2095],{"id":1624,"depth":970,"text":1627},{"id":1785,"depth":970,"text":1788},{"id":1811,"depth":970,"text":1814},{"id":1834,"depth":967,"text":1834,"children":2097},[2098,2099,2100],{"id":1842,"depth":970,"text":1845},{"id":1857,"depth":970,"text":1860},{"id":1886,"depth":970,"text":1886},{"id":1904,"depth":967,"text":1904},"\u002Fimages\u002Fblog\u002F2604.04921.webp","2026-05-11","隨著人工智慧在軟體工程與複雜邏輯運算領域的快速演進，大語言模型（Large Language Models, LLMs）的應用範疇已經從早期的單純文本補全（Code Completion），跨越至具備自主決策與長鏈條推理能力的代理系統（Autonomous Agents）",{},"\u002Fblog\u002Fzh-tw\u002Farxiv-2604-04921v1",{"title":1405,"description":2104},"arxiv-2604-04921v1","blog\u002Fzh-TW\u002Farxiv-2604-04921v1",[987,2111,2112],"agent","attention","rSnvxJU_oS2Zq43Rx-tp4xFtuCXoltI5PUo00hyQ9m0",1792775652137]