These startups are chasing the next big thing in LLMs

2026-08-20 · MIT Technology Review

这些初创公司正在追逐LLM的下一个大事件

MIT Technology Review的What’s Next系列横跨行业、趋势和技术,为读者提供对未来的第一手观察。

Transformer的崛起与瓶颈

2017年夏天,谷歌AI研究人员发表了《Attention Is All You Need》论文,提出了一种名为Transformer的新型神经网络架构。它被证明极擅长处理长序列数据,尤其是文本。

九年后的今天,Transformer已成为市场上每一个主流大型语言模型(LLM)的核心引擎。AI初创公司Subquadratic的联合创始人兼CEO Justin Dangel表示:“整个AI产业都建立在Transformer之上。它们是计算机科学史上最重要的创新之一,已经改变了世界。”

然而,Transformer正开始展现其年龄带来的问题。近年来LLM的许多进展——例如所谓推理模型的开发以及一次性处理大量输入的能力——并非该核心技术的自然延伸,而是修补其根本缺陷的 workaround。

越来越多的科学家和工程师开始追问:接下来会是什么?LLM不会消失,但它们被构建的方式已经开放竞争。(MIT Technology Review在今年的“AI领域10件最重要的事”中将这一未来世代模型称为LLMs+。)

一批初创公司正涌入,希望推动这项繁荣技术的边界。它们中有些无疑会失败,但它们拥有无限可能,且比当前领先企业损失更小。

问题的核心:密集注意力

Transformer的核心优势在于其密集注意力(dense attention)机制。该机制通过将文本块中每个词(或token)与其他所有词进行比较(一种乘法运算),将文本含义编码为一系列数字。

密集注意力能以惊人的准确度捕捉文本含义。但随着文本长度增加,所需计算量会快速累积。一篇10,000词的文档可能需要Transformer执行5000万次乘法。这也是LLM耗电量巨大的主要原因。

成本极其高昂。据OpenAI总裁Greg Brockman透露,该公司今年将在计算上花费500亿美元。国际能源署预测,到2030年数据中心的总耗电量将翻倍。

更重要的是,Transformer难以胜任许多最新模型的目标任务。由于其逐词处理文本的方式,Transformer不擅长同时跟踪大量信息(即上下文窗口无法过大)。然而,若要让LLM执行更困难的任务,就需要摄入更多数据:整座文档库、整个代码库,或在Agent场景中其他LLM的输出。

推理模型则通过给自己写笔记(即思维链,chain of thought)然后再读回来,这进一步增加了需要跟踪的数据量。

随着LLM变得更大更好,Transformer已成为瓶颈。其核心优势如今成了限制。

01:重新思考注意力机制

解决Transformer问题的一个显而易见的方法是直接改进注意力机制。将密集注意力替换为稀疏注意力(sparse attention),仅对文本块中部分词对进行计算,可大幅减少LLM所需的计算量。

多年来研究人员提出了多种稀疏注意力机制,但问题在于它们在捕捉含义上均不如密集注意力准确。

这一情况或许正在改变。总部位于迈阿密的初创公司Subquadratic声称,他们发明了首个能在若干任务(包括搜索和编码)上与主流LLM相媲美的稀疏注意力机制。这是一个大胆的声明,业界部分人士仍持怀疑态度。

Subquadratic表示,其模型SubQ能在处理每段给定文本时实时判断哪些词重要、哪些不重要。公司还称已有数千人加入等待名单,并计划 soon 广泛开放该模型。

与此同时,位于旧金山的Manifest AI则从不同角度切入问题。它没有修改注意力机制,而是用另一种机制完全取代它。

Manifest AI开发了一种称为功率保留(power retention)的机制,仅存储对当前任务最相关的信息,并确保LLM需要跟踪的数据量不会爆炸式增长。

传统注意力机制迫使LLM记住上下文窗口内的所有内容。稀疏注意力模型(如SubQ)虽然丢弃大量单个词,但仍保留对见过内容的粗略印象。相比之下,功率保留机制为模型提供上下文窗口的滚动摘要。随着新信息加入,不相关的信息会被丢弃。

保留机制的基本原理已存在十年。Manifest AI声称已更新这些技术,首次构建出能与基于Transformer的LLM正面竞争的模型。

该公司表示,可以用极少的重训成本将Transformer模型适配为功率保留模型。为证明这一点,他们将开源编码模型StarCoder转换为使用功率保留的版本,命名为PowerCoder。他们还发布了名为Brumby的模型,据称可与阿里巴巴热门开源模型Qwen的某些版本相媲美。

Manifest AI希望其功率保留技术能够成为行业新标准。

原文链接