These startups are chasing the next big thing in LLMs
2026-08-20 · MIT Technology Review
這些初創公司正在追逐LLM的下一個大事件
MIT Technology Review的What’s Next系列橫跨行業、趨勢和技術,為讀者提供對未來的第一手觀察。
Transformer的崛起與瓶頸
2017年夏天,谷歌AI研究人員發表了《Attention Is All You Need》論文,提出了一種名為Transformer的新型神經網路架構。它被證明極擅長處理長序列資料,尤其是文字。
九年後的今天,Transformer已成為市場上每一個主流大型語言模型(LLM)的核心引擎。AI初創公司Subquadratic的聯合創始人兼CEO Justin Dangel表示:“整個AI產業都建立在Transformer之上。它們是電腦科學史上最重要的創新之一,已經改變了世界。”
然而,Transformer正開始展現其年齡帶來的問題。近年來LLM的許多進展——例如所謂推理模型的開發以及一次性處理大量輸入的能力——並非該核心技術的自然延伸,而是修補其根本缺陷的 workaround。
越來越多的科學家和工程師開始追問:接下來會是什麼?LLM不會消失,但它們被構建的方式已經開放競爭。(MIT Technology Review在今年的“AI領域10件最重要的事”中將這一未來世代模型稱為LLMs+。)
一批初創公司正湧入,希望推動這項繁榮技術的邊界。它們中有些無疑會失敗,但它們擁有無限可能,且比當前領先企業損失更小。
問題的核心:密集注意力
Transformer的核心優勢在於其密集注意力(dense attention)機制。該機制透過將文字塊中每個詞(或token)與其他所有詞進行比較(一種乘法運算),將文字含義編碼為一系列數字。
密集注意力能以驚人的準確度捕捉文字含義。但隨著文字長度增加,所需計算量會快速累積。一篇10,000詞的文件可能需要Transformer執行5000萬次乘法。這也是LLM耗電量巨大的主要原因。
成本極其高昂。據OpenAI總裁Greg Brockman透露,該公司今年將在計算上花費500億美元。國際能源署預測,到2030年資料中心的總耗電量將翻倍。
更重要的是,Transformer難以勝任許多最新模型的目標任務。由於其逐詞處理文字的方式,Transformer不擅長同時跟蹤大量資訊(即上下文視窗無法過大)。然而,若要讓LLM執行更困難的任務,就需要攝入更多資料:整座文件庫、整個程式碼庫,或在Agent場景中其他LLM的輸出。
推理模型則透過給自己寫筆記(即思維鏈,chain of thought)然後再讀回來,這進一步增加了需要跟蹤的資料量。
隨著LLM變得更大更好,Transformer已成為瓶頸。其核心優勢如今成了限制。
01:重新思考注意力機制
解決Transformer問題的一個顯而易見的方法是直接改進注意力機制。將密集注意力替換為稀疏注意力(sparse attention),僅對文字塊中部分詞對進行計算,可大幅減少LLM所需的計算量。
多年來研究人員提出了多種稀疏注意力機制,但問題在於它們在捕捉含義上均不如密集注意力準確。
這一情況或許正在改變。總部位於邁阿密的初創公司Subquadratic聲稱,他們發明了首個能在若干任務(包括搜尋和編碼)上與主流LLM相媲美的稀疏注意力機制。這是一個大膽的宣告,業界部分人士仍持懷疑態度。
Subquadratic表示,其模型SubQ能在處理每段給定文字時實時判斷哪些詞重要、哪些不重要。公司還稱已有數千人加入等待名單,並計劃 soon 廣泛開放該模型。
與此同時,位於舊金山的Manifest AI則從不同角度切入問題。它沒有修改注意力機制,而是用另一種機制完全取代它。
Manifest AI開發了一種稱為功率保留(power retention)的機制,僅儲存對當前任務最相關的資訊,並確保LLM需要跟蹤的資料量不會爆炸式增長。
傳統注意力機制迫使LLM記住上下文視窗內的所有內容。稀疏注意力模型(如SubQ)雖然丟棄大量單個詞,但仍保留對見過內容的粗略印象。相比之下,功率保留機制為模型提供上下文視窗的滾動摘要。隨著新資訊加入,不相關的資訊會被丟棄。
保留機制的基本原理已存在十年。Manifest AI聲稱已更新這些技術,首次構建出能與基於Transformer的LLM正面競爭的模型。
該公司表示,可以用極少的重訓成本將Transformer模型適配為功率保留模型。為證明這一點,他們將開源編碼模型StarCoder轉換為使用功率保留的版本,命名為PowerCoder。他們還發布了名為Brumby的模型,據稱可與阿里巴巴熱門開源模型Qwen的某些版本相媲美。
Manifest AI希望其功率保留技術能夠成為行業新標準。