2026 年 6 月 10 日，Google 發布 DiffusionGemma，一款將文本擴散技術——此前僅應用於圖像和視頻生成——應用於語言建模的實驗性開放模型。其結果是在專用 GPU 上實現最高 4 倍的文本生成速度提升，在單張 NVIDIA H100 上達到每秒超過 1,000 個 token，在消費級 GeForce RTX 5090 上達到每秒超過 700 個 token。但除了原始速度數字之外，DiffusionGemma 代表了對主導自然語言處理近十年的自回歸範式的根本性架構偏離。
該模型採用混合專家架構，總參數達 260 億，但每次推理僅激活 38 億參數——量化後只需 18 GB VRAM 即可運行，可輕鬆裝入 RTX 5090 和 RTX 4090 等消費級 GPU。該模型以 Apache 2.0 許可證發布，權重可在 Hugging Face 上獲取。
文本擴散的工作原理
與自回歸語言模型從左到右逐個生成 token 的方式不同，DiffusionGemma 從隨機佔位 token 的畫布開始，通過迭代逐步優化。在每次傳遞中，模型應用雙向注意力機制——意味著每個 token 可以同時看到所有其他 token——每次前向傳遞並行生成 256 個 token 的區塊。模型確信的 token 會被「鎖定」在適當位置，而不確定的 token 則利用鎖定 token 提供的改進上下文重新生成。
這個過程與圖像生成中的擴散模型有直接的概念淵源。AI 圖像生成器從隨機噪聲開始，逐步去噪成為連貫的圖片；DiffusionGemma 從隨機 token 開始，逐步去噪成為連貫的文字。每次傳遞都將輸出推向更接近目標分佈，雙向注意力機制允許模型自我修正——根據後續位置生成的上下文來修正早期「位置」的錯誤。
這對於自回歸模型來說根本不可能實現，因為它們只能關注當前位置左側的 token，一旦生成就無法修改先前的輸出。
性能權衡
DiffusionGemma 的速度優勢是真實的，但取決於使用情境。該模型在專用 GPU 上表現最佳，此時推理是計算受限而非記憶體頻寬受限。在 NVIDIA H100 上，4 倍加速轉化為每秒超過 1,000 個 token。在 RTX 5090 上約為每秒 700 個 token。
然而，Google 明確指出「在高 QPS 雲端服務中，自回歸模型可以有效部署以充分利用計算資源，因此 DiffusionGemma 的並行解碼會帶來遞減的回報，並可能導致更高的服務成本。」該模型也未針對 Apple Silicon Mac 進行優化，因為其統一記憶體架構屬於記憶體頻寬受限，可能無法獲得相同的加速效果。
輸出質量也低於 Gemma 4——這是一個實驗性模型，並非生產環境替代品。Google 建議將其用於對速度敏感的互動式本地工作流程，在可接受一定質量下降的前提下換取大幅降低的延遲。
擴散模型的優勢領域
文本擴散最有趣的應用並非取代標準 LLM 對話，而是在受益於雙向注意力的任務中。Google 指出了幾個類別：
代碼填充與編輯：DiffusionGemma 可以填補函數中間缺失的代碼，這是自回歸模型難以處理的任務，因為它們必須從左到右生成，無法自然地「看到」插入點之後的代碼。
非線性文本結構：該模型處理數獨謎題、氨基酸序列和數學圖表——這些任務中 token 順序並非嚴格線性，雙向上下文提供了結構性優勢。
快速迭代工作流程：行內編輯、推測解碼和互動式草稿——速度比絕對質量更重要的場景。
Unsloth 已微調 DiffusionGemma 來解決數獨——這是自回歸模型難以勝任的任務，因為解決數獨需要同時推理所有位置，而非順序推理。
Observatory 分析
DiffusionGemma 的重要性不在於其絕對性能——Gemma 4 在生產質量上仍然是更好的模型——而在於它所預示的語言模型架構未來。自 2017 年「注意力就是一切」以來，自回歸變壓器一直是主流範式，但其根本限制——一次生成一個 token，從左到右，無法修正——隨著模型規模的擴大變得越來越明顯。
文本擴散打破了這些限制，代價是輸出質量（至少目前如此）。這種模式反映了圖像生成的歷史：逐像素自回歸生成最終被通過迭代優化提供更高質量和速度的擴散模型所取代。如果同樣的軌跡適用於語言，DiffusionGemma 就是邁向能夠並行生成文本、自我修正並處理固有非線性語言結構的新一代模型的第一步。
Google 以 Apache 2.0 開源該模型也具有戰略意義。通過發布研究權重和開發者工具，Google 邀請更廣泛的研究社群探索文本擴散架構——實際上是將可能最終取代 Google 自身開創的變壓器架構的創新進行眾包。
關鍵問題是，隨著擴散技術在語言領域的成熟，文本質量能否達到自回歸模型的水平。圖像擴散從產生模糊近似到照片級真實輸出大約用了三年時間。如果語言擴散遵循類似的軌跡，對推理經濟學的影響將是深遠的：以可比質量實現 4 倍更快的生成，將從根本上改變大規模服務 LLM 的成本結構。
文本擴散的未來難題：質量與速度的權衡何時突破
文本擴散面臨的最大不確定性是其質量瓶頸是否為結構性限制。圖像擴散之所以成功，部分因為人類對圖像的感知對局部細節的容忍度較高——稍微模糊的邊緣不影響對整體圖像的理解。但文本不同：一個 token 的錯誤就可能完全改變句子的語義。
業界正在探索幾種可能的質量提升路徑。第一種是混合架構，使用擴散模型進行草稿生成，再以小型自回歸模型進行精煉——類似於推測解碼的逆向應用。第二種是訓練策略改進，透過在擴散過程中使用更豐富的條件信號（如語法約束和語義一致性損失）來引導生成質量。第三種是硬體優化，利用專門的推理晶片來降低擴散模型在雲端部署中的計算成本。
MiniMax M3 等模型已證明，架構創新可以在不犧牲質量的情況下大幅降低計算需求。如果文本擴散能夠沿著類似的軌跡發展，未來兩年內我們可能看到首批達到生產質量的文本擴散模型投入實際應用。
文本擴散的產業影響與生態系統
文本擴散技術如果成熟，其影響將遠超模型架構本身。對於依賴低延遲生成的應用場景——如即時翻譯、語音助理、程式碼自動補全——4 倍的生成速度提升意味著根本性的用戶體驗改善。邊緣設備上的本地推理也將受益，因為更快的生成速度使得在功耗受限的設備上運行大模型變得更加實用。
然而，生態系統的轉變需要時間。現有的 LLM 工具鏈——包括推測解碼、KV 緩存優化和連續批處理——都是圍繞自回歸模型設計的。要讓文本擴散模型充分發揮其優勢，需要重新設計推理基礎設施。Google 開放 DiffusionGemma 的權重和開發者工具，正是為了加速這一生態建設過程。
免責聲明：本文所載資料僅供參考，不構成任何投資建議或商業決策依據。數據及時間資訊以發布當日為準，可能隨後續發展而有所變動。作者及POC.HK不對因使用本文資訊而導致的任何損失承擔責任。