自 2017 年 Transformer 架構問世以來，注意力機制（Attention Mechanism）的二次方計算複雜度一直是大型語言模型（LLM）最根本的技術瓶頸。每一個 token 都需與序列中所有其他 token 進行配對計算，意味著當上下文長度翻倍時，計算量翻四倍——這一 O(n²) 的縮放定律，決定了 GPU 採購量、推理延遲、上下文窗口上限，乃至整個 AI 產業的經濟基礎。
2026 年 5 月 5 日，一家名為 Subquadratic 的邁阿密初創公司從隱身模式走出，宣稱已解決這一困擾學界與業界近十年的核心難題。其核心創新——亞二次方稀疏注意力（Subquadratic Sparse Attention, SSA）——號稱將注意力機制的計算複雜度從 O(n²) 降至近乎 O(n)，實現了 12M token 的功能性上下文窗口，並在 1M token 長度下達到比 FlashAttention-2 快 56 倍、計算量減少 64.5 倍的成績。
兩個月後，2026 年 6 月 19 日，《MIT Technology Review》以深度報導進一步探討了 SubQ 的真實性與產業影響，而第三方機構 Appen 發布的獨立基準測試報告為 SSA 的線性縮放主張提供了重要的實證支持。這一事件，無論 SubQ 最終是否經得起復現檢驗，都已成為 AI 架構演化史上的一個關鍵節點。
注意力瓶頸的本質：為什麼二次方是個問題
要理解 SubQ 的意義，首先需要理解為什麼二次方注意力是「瓶頸」而非「特性」。
標準 Transformer 的自注意力機制為每個 token 計算與序列中所有其他 token 的相關性權重。對於長度為 n 的序列，這需要 n² 次配對計算。在 128K token 時，這種計算尚可接受；但當上下文擴展到 1M token，計算量約為 128K 的 64 倍；到 12M token，則為 128K 的 8,784 倍。
這不僅是 GPU 成本的問題。二次方縮放意味著：訓練超大上下文模型需要不成比例的算力投入——成本曲線急劇上升；推理延遲隨上下文增長呈二次方惡化，難以滿足實時應用需求；長上下文場景（全代碼庫分析、長篇法律合約、長期 AI Agent 會話）在經濟上不可行；數據中心的能源需求被不必要的計算放大。
FlashAttention 等優化方法通過避免實例化完整的注意力矩陣來提高效率，但它們並未改變底層的縮放定律——仍然是 O(n²) 的計算量，只是實現得更加高效。
SSA 機制的核心創新
Subquadratic 的 SSA 注意力從根本上重新定義了注意力的計算方式。它沒有使用固定的位置模式（如滑動窗口注意力）或完全替代注意力的狀態空間模型（如 Mamba），而是採用了一種內容依賴的稀疏路由策略。
對於每個查詢 token，SSA 不是計算與所有 token 的配對關係，而是動態選擇一小部分「相關」的位置，僅對這些選中的 token 進行精確注意力計算。關鍵點在於，路徑選擇決策是基於語義相關性，而非固定窗口或位置——這使得模型能夠從任意距離檢索信息，同時將計算量控制在線性範圍。
從 Appen 的獨立基準測試報告中可以看到具體的實證結果：在 128K token 長度下，SSA 相比 FlashAttention-2 實現了 7.2 倍的預填充加速；在 256K 下加速比達到 13.2 倍；在 512K 下達到 23 倍；在 1M 下達到 52.2 倍。
計算量（FLOPs）的測量結果同樣支持線性縮放聲稱：從 128K 到 1M 的每次翻倍，SSA 的 FLOPs 大致翻倍，而非翻四倍。在 1M token 時，SSA 的理論計算量為 144.9 TFLOP，而密集注意力的理論計算量為 9,095.2 TFLOP——相差 62.8 倍。
在檢索質量方面，SSA 在 RULER 128K 基準上達到 95.0%，在 MRCR v2 的 1M token 8-Needle 最難層級上達到 86.2%。SWE-Bench Verified 分數為 81.8%。這些數字雖然在推理和編碼任務上尚未全面超越頂級密集模型（如 Claude Opus），但考慮到計算成本的巨大差距，其實際部署的性價比優勢顯著。
爭議與懷疑：SubQ 的真實性問題
SubQ 並非沒有爭議。自發布以來，學術界和業界對其真實性提出了多項質疑。
首先，Subquadratic 公司尚未發布完整的技術報告，也未開源模型權重。在 AI 研究領域，這意味著獨立復現不可能——外界只能依賴公司自行報告的基準測試數據和 Appen 的獨立驗證。一些研究者將 SubQ 與此前同樣宣稱突破二次方瓶頸但最終未能經受考驗的架構進行比較：Mamba、RWKV、Hyena、RetNet 以及 DeepSeek 的稀疏注意力，無論哪一種，最終都在前沿規模的基準測試上遜於密集 Transformer。
其次，SubQ 1.1 Small 是基於阿里巴巴 Qwen 權重初始化的，而非完全從零訓練的架構。這意味著 SSA 是在一個已有強大能力的基座模型之上疊加的稀疏路由層——SSA 的線性縮放優勢是否源自注意力機制本身，還是因為模型的其餘部分（MLP 層、embedding 層）承擔了大部分推理工作，目前還不清晰。
第三，LessWrong 上流傳甚廣的一篇分析文章指出，幾乎所有亞二次方注意力方案到目前為止都只是「Transformer 的第 93595 次增量改進」，因為在實際部署中，實用化的實現仍然在關注的 token 範圍內保留了二次方計算。
更深層的結構性意義：如果亞二次方成真
如果 SubQ 的 SSA 機制最終經得起獨立復現檢驗——或者即使不是 SubQ，而是其他團隊實現了類似的線性注意力突破——其產業影響將是深遠且多維度的。
第一層：計算經濟學的重塑
當前 LLM 推理市場的定價結構在很大程度上由注意力的二次方成本決定。長上下文推理的價格壁壘使得 RAG（檢索增強生成）成為必要的中間方案——將文檔分段後僅檢索相關片段餵給模型。如果線性注意力成為現實，RAG 的許多用例將被原生長上下文替代，整個 AI 應用架構需要重新設計。
更重要的是計算需求的總量效應。這裡存在一個經典的杰文斯悖論（Jevons Paradox）：如果每個 token 的推理成本降低 50-300 倍，總體 AI 使用量可能急劇增加，而非減少。對 GPU 需求的淨效應取決於效率提升與用量增長之間的彈性關係——在 AI 採用率仍處於早期階段的今天，後者可能佔主導。
第二層：贏家與輸家的地圖
如果線性注意力成為主流，受益者包括：推理即服務提供商（更低的成本壁壘）、邊緣 AI（更高效的本地推理）、需要大規模長上下文的企業應用（法律、金融、代碼分析）、以及依賴長上下文的新應用類別（全代碼庫 AI 助理、長期 Agent 記憶）。潛在受損者包括：如果效率提升導致總計算需求下降（而非增加），GPU 製造商可能面臨需求重新定價；密集注意力為核心競爭力的模型提供商可能需要調整架構。
第三層：後 Transformer 時代的信號
SubQ 出現的時間點耐人尋味。幾乎在同一時期，DeepSeek 發布了 NSA（Native Sparse Attention），MiniMax 發布了 MSA（MiniMax Sparse Attention），業界顯然正在向稀疏/混合架構收斂。這可能標誌著 Transformer 注意力作為 AI 模型唯一核心機制的時代正在走向終結——不是 Transformer 被取代，而是其注意力模塊被更高效的替代方案逐步替換，形成「Transformer+高效注意力」的新混合範式。
Observatory 分析：計算效率作為 AI 產業的下一個戰略變量
過去三年，AI 產業的競爭焦點集中在模型能力——參數規模、基準分數、多模態能力。但 2026 年正在見證一個結構性轉變：效率正在成為與能力同等重要的競爭維度。
DeepSeek V3 展示了訓練效率可以如何改寫競爭格局——用更少的計算資源達到接近前沿的性能。SubQ 則將這一邏輯延伸到推理端：如果長上下文推理的成本降低兩個數量級，整個應用生態的假設需要重新書寫。這不再是「增量改進」，而是對經濟基礎的重構。
從地緣政治角度看，SubQ 建立在阿里巴巴 Qwen 的權重之上，凸顯了中美 AI 生態系統之間既競爭又依賴的複雜關係。美國擁有架構創新和資本市場優勢，中國則擁有規模化應用和製造效率。如果亞二次方注意力成為主流，誰能更快地將其產品化、規模化，誰就能在下一階段佔據主動。
從投資角度觀察，Subquadratic 以 2,900 萬美元種子輪融資起步——與 Anthropic、OpenAI 數十億美元的融資規模相比微不足道。如果 SSA 被驗證為真正的突破，這將成為 AI 史上回報率最高的早期投資之一，也將激勵更多小型團隊在架構層面挑戰現有秩序。如果被證偽，則再次印證了 AI 領域的殘酷法則：架構突破需要的不僅是想法，還需要大規模驗證的生態信任。
無論 SubQ 的最終結局如何，2026 年將被銘記為 AI 效率競賽全面展開的一年。密集注意力的二次方瓶頸——這個過去十年 AI 產業默認接受的物理定律——終於面臨了嚴肅的挑戰。而這個挑戰本身，就是最重要的信號。
免責聲明：本文所載資料僅供參考，不構成任何投資建議或商業決策依據。數據及時間資訊以發布當日為準，可能隨後續發展而有所變動。作者及 POC.HK 不對因使用本文資訊而導致的任何損失承擔責任。