2026 年 11 月，一篇署名为港大（HKU）、KAUST 生成式 AI 卓越中心、华为香港的综述论文《Towards Next-Generation Architectures of Large Language Models: A Survey》挂到了Preprints.org，LSTM 之父、现任教于 KAUST 的 Jürgen Schmidhuber 是这篇综述背后最关键的学术坐标。Computer, Electrical and Mathematical Sciences and Engineering论文把 "后 Transformer 时代" 所有主流路线 —— 高效注意力、KV 缓存压缩、线性 RNN/SSM（Mamba/RWKV/xLSTM/LRU）、MoE、新激活函数、新位置编码、多 Token 预测、自适应循环深度、混合架构 —— 全部按组件和系统两个层次梳理了一遍，并把开源模型族 LLaMA、Qwen、DeepSeek 的设计模式做了横向对比。Preprints.org下面把这篇综述的核心结论、架构地图和选型逻辑一次说清。
一、论文基本盘
| 项目 | 信息 |
|---|---|
| 论文标题 | Towards Next-Generation Architectures of Large Language Models: A Survey |
| 第一作者 | Yao Teng、Guoxuan Chen（共同一作） |
| 通讯 / 核心作者 | Yimeng Chen、Han Shi 等 |
| 单位 | 港大 HKU、KAUST 生成式 AI 卓越中心、华为香港 |
| 学术坐标 | LSTM 之父 Jürgen Schmidhuber 在 KAUST，其 1991 年提出的 Unnormalized Linear Transformer（ULTRA）被论文点名为线性注意力的鼻祖 |
| 文献覆盖 | 截至 2026 年 8 月 |
| 开源模型族对比对象 | LLaMA、Qwen、DeepSeek |
Preprints.org
二、为什么要再写一篇架构综述
论文直接点出 Transformer 的两个 "天生低效"：
- 自注意力的二次复杂度：序列长度 T，计算量 O (T²)；
- KV 缓存线性膨胀：推理时 KV cache 随上下文线性增长，显存吃紧。
这俩问题在长上下文、长推理、高并发场景下被放大，于是行业从 2020 年开始出现两类修补路线：
| 方向 | 思路 | 代表 |
|---|---|---|
| 保注意力骨架、降本 | 保留二次注意力结构，减少实际参与计算的 KV 数量 | 高效注意力、KV 压缩 |
| 换骨架、做线性 | 放弃显式 token 两两交互，用线性复杂度的序列建模机制 | 线性 RNN、SSM、线性注意力 |
三、高效注意力和 KV 缓存：四个降本维度
论文把高效注意力按 "KV 存储和访问" 拆成四个轴：
| 维度 | 怎么省 | 思路 |
|---|---|---|
| Token 级 | 选、驱逐、合并 KV 条目 | 只保留有用的历史 token |
| Head 级 | 多个 query 头共享 KV 头 | 头之间共享 KV |
| 维度级 | 压缩缓存表示 | 把 KV 向量压短 |
| 层级 | 跨层共享 KV 状态 | 不同层复用同一份 KV |
注意：这套方法主要省显存和带宽，只有一部分能真正降低二次注意力的算术开销。
四、线性语言模型：Schmidhuber 学派的 "回本" 路线
这是综述最有历史感的部分 —— 论文把线性模型的根追到了 1991 年 Schmidhuber 实验室提出的Fast Weight Programmers（FWPs）和 Unnormalized Linear Transformer（ULTRA）：
- ULTRA 是带 "加性外积快速权重" 原理的 FWP；
- 现代线性注意力（Katharopoulos 2020）数学上等价于 "ULTRA + feature map + running normalizer"；
- LSTM（1997）是循环侧的祖师爷，它的 constant error carousel 其实就是现在残差连接的雏形。
新一代线性模型全家桶：
| 模型 | 来源 | 特点 |
|---|---|---|
| LRU | 线性 RNN | 复数对角权重、γ 归一化、受限特征值初始化，把线性 RNN 训大 |
| Hawk | LRU + 门控 | 在 LRU 上加门控机制 |
| RWKV | 线性 RNN | Token mixing + Channel mixing，时间衰减，可并行训练 |
| xLSTM | LSTM 现代化 | sLSTM（标量记忆 + 记忆混合，多头）+ mLSTM（矩阵记忆、并行化） |
| Mamba | 离散 SSM | 输入相关的 B、C、Δ，类 LSTM 门控 |
| Mamba-2 | SSM 对偶 | 半可分结构、chunk 内并行、chunk 间循环 |
| Mamba-3 | SSM 演进 | 复数状态转移、MIMO 更新 |
| DeltaNet / RWKV-7 | delta-rule | 允许负特征值、能跟踪奇偶、置换等序列 |
论文同时指出一个尴尬事实：实值 Mamba 在奇偶校验这种简单状态跟踪任务上会失败，因为 A̅非负对角结构不让它识别任意长度的奇偶；LSTM/sLSTM 这种非线性 RNN 理论上能跟踪任意有限状态机，但不能并行训练。
五、其他组件级创新
| 组件 | 综述覆盖的方向 |
|---|---|
| FFN/MoE | 稀疏门控 FFN → 细粒度共享专家 → 系统级 MoE；路由策略、负载均衡、训练稳定性 |
| 激活函数 | ReLU/ELU → GELU/SiLU/Swish → GLU（门控从 LSTM 借的）→ SwiGLU |
| 位置编码 | 绝对位置编码（正弦 / 可学习）→ 相对位置编码 → 各种外推方案 |
| 残差 / 归一化 | Pre-Norm、Post-Norm、RMSNorm 等 |
| 分词 | BPE 演进 |
| 多 Token 预测 | 并行预测头（条件独立）+ 顺序预测器（保持因果链）+ 推断集成（draft-then-verify、树验证、自适应 draft 长度） |
| 自适应 / 循环深度 | 早退、层裁剪、条件深度、循环 Transformer（looped depth） |
Preprints.org
六、混合架构：不是谁替代谁，是搭配用
综述里有一个关键判断：Mamba 和 Transformer 在 in-context learning 任务上失败模式是互补的，混在一起比单用任一种强（MambaFormer 的实验证据）。
混合设计的本质是回答三个问题：
- 哪里保留显式检索（注意力）；
- 哪里把历史压缩成状态（循环 / SSM）；
- 两种表示之间怎么交换信息。
七、系统层：四维度统一框架
论文最后跳出组件级，提出一个把所有设计摆在一起的四维坐标：
| 维度 | 在问什么 |
|---|---|
| 处理结构 Processing Structure | 稠密 decoder / 稀疏 + 压缩状态 / 混合序列与状态 / 预测增强 backbone |
| 变换动力学 Transformation Dynamics | 激活、归一化、残差怎么组合 |
| 状态管理 State Management | KV、循环状态、压缩状态怎么存、怎么读 |
| 输出承诺 Output Commitment | 一次一个 token vs 多 token 预测、自适应深度 |
横向对比 LLaMA、Qwen、DeepSeek 三个开源族之后，论文总结出四种反复出现的设计模式：标准稠密 decoder、带压缩注意力状态的稀疏容量、混合序列与状态处理、预测增强 backbone。
八、这篇综述的真正价值
| 你是谁 | 这篇论文给你的东西 |
|---|---|
| 研究者 | 一份从 n-gram 到 Mamba-3/xLSTM/MoE/ 多 Token 预测的完整地图，文献截至 2026 年 8 月 |
| 算法工程师 | 在 "保注意力降本"vs"换线性骨架"vs"混合路线" 之间做选型的权衡清单 |
| 模型架构师 | 四维度统一框架，可以把自家新设计摆进去对比 |
| 行业观察者 | LSTM 学派（Schmidhuber）亲自下场给 "后 Transformer" 定坐标系，KAUST + 港大 + 华为三方背书 |
九、写在最后
Transformer 不是终点，这一点在 2026 年已经是行业共识。但 "下一个架构到底是什么"—— 是 Mamba 式 SSM、xLSTM、线性注意力、MoE、还是混合 —— 这篇综述给出的答案不是押单一注，而是把所有路线拆成组件、按四维度摆开，告诉你每种设计在表达力、优化稳定性、计算成本之间分别做了什么交易。LSTM 之父亲自把 1991 年的 FWP/ULTRA 和 2026 年的线性注意力连了起来，等于在学术上完成了一次 "原来大家都绕回我 30 年前画的那条路" 的注脚。
【相关 FAQ】
问题 1：这篇下一代语言模型架构综述是谁写的、谁在牵头？
回答 1：论文《Towards Next-Generation Architectures of Large Language Models: A Survey》由港大 HKU、KAUST 生成式 AI 卓越中心、华为香港联合完成，共同一作是 Yao Teng 和 Guoxuan Chen，通讯作者包括 Yimeng Chen、Han Shi。学术坐标上，LSTM 之父 Jürgen Schmidhuber 现任教于 KAUST，论文把他 1991 年提出的 Unnormalized Linear Transformer（ULTRA）和 Fast Weight Programmers（FWP）点名为现代线性注意力的鼻祖。Computer, Electrical and Mathematical Sciences and Engineering
问题 2：综述认为 Transformer 最大的效率问题是什么？
回答 2：两个核心低效点：一是自注意力的二次复杂度 O (T²)，序列越长越慢；二是推理时 KV 缓存随上下文线性膨胀，显存压力大。围绕这两个问题，行业分成两条路 —— 保留注意力骨架做高效注意力 / KV 压缩，或者直接换成线性复杂度的 RNN/SSM/ 线性注意力骨架。
问题 3：综述覆盖了哪些下一代架构路线？
回答 3：覆盖范围包括：高效注意力和 KV 缓存（token/head/dimension/layer 四个降本维度）、线性语言模型（LRU、Hawk、RWKV、xLSTM 的 sLSTM/mLSTM、Mamba、Mamba-2、Mamba-3、DeltaNet、RWKV-7）、MoE 混合专家、新激活函数（SwiGLU 等）、位置编码、残差归一化、多 Token 预测（含 draft-then-verify）、自适应 / 循环深度、混合架构（如 MambaFormer），并横向对比了 LLaMA、Qwen、DeepSeek 三个开源模型族。
问题 4：Schmidhuber 学派怎么看 Mamba/RWKV 这些新模型？
回答 4：论文把现代线性注意力、线性 RNN、SSM 统一回 1991 年的 FWP/ULTRA 框架 —— 线性注意力等价于 ULTRA 加 feature map 和 running normalizer；Mamba-2 的核心 recurrence 可以写成带标量遗忘的加性 ULTRA；LSTM 的 constant error carousel 就是今天残差连接的雏形。同时论文也指出实值 Mamba 在奇偶校验这种简单状态跟踪上会失败，需要允许负特征值（如 DeltaNet）或回到非线性 RNN（sLSTM）。Preprints.org
问题 5：综述最后用什么框架统一所有下一代架构设计？
回答 5：论文提出系统层四维度 —— 处理结构（稠密 decoder / 稀疏 + 压缩状态 / 混合序列与状态 / 预测增强 backbone）、变换动力学（激活 / 归一化 / 残差组合）、状态管理（KV、循环状态、压缩状态怎么存读）、输出承诺（单 token vs 多 token 预测、自适应深度）。并总结出 LLaMA、Qwen、DeepSeek 三个开源族反复出现的四种设计模式。Preprints.org
【参考资料】
- [2026-11]（Towards Next-Generation Architectures of Large Language Models: A Survey）
- [2026-10-09]（华为、地平线押注扩散模型 DiffuSpace，港大 NLP 与华为诺亚联合 Dream 系列）新浪财经
- [2026-09-18]（Beyond LLMs: A Post-Transformer World Emerges）Communications of the ACM
- [2026-08-16]（Jürgen Schmidhuber 教授主页：1990-1991 奠定 GAN、线性 Transformer、自监督预训练、蒸馏基础）KAUST
- [2026-07-07]（从序列模型到大语言模型：关于 "注意力" 的范式革命，LSTM 门控机制）腾讯云开发者社区
【免责声明】
本文为对 2026 年 11 月Preprints.org公开综述论文《Towards Next-Generation Architectures of Large Language Models: A Survey》及相关公开资料的整理与解读，所涉架构名称、模型分类、技术结论均来源于论文原文及 KAUST、ACM、华为等公开渠道。该论文为预印本（preprint），尚未经同行评审，其分类框架、技术判断、模型对比可能在正式发表版本中调整；文中涉及的具体模型（Mamba、RWKV、xLSTM、LRU、DeepSeek、LLaMA、Qwen 等）参数、性能、商业表现以各模型官方发布为准。本文不构成对任何研究方向、技术路线、投资标的的推荐，不构成对华为技术有限公司、KAUST、香港大学或任何作者的学术评价，也不构成 AI 架构选型建议。因参照本文做出的研究、工程或投资决策产生的任何后果，作者不承担责任。
本文来自作者[硅簇脉冲]投稿，不代表乌兰科技网立场，如若转载，请注明出处：https://www.wlcbnews.com/jqr/202611/1832.html
评论列表（4条）
我是乌兰科技网的签约作者“硅簇脉冲”！
希望本篇文章《LSTM 之父亲自下场KAUST× 港大 × 华为联合综述，把下一代大模型架构一次性盘清楚》能对你有所帮助！
本站[乌兰科技网]内容主要涵盖：互联网行业的追踪与探索
本文概览：2026 年 11 月，一篇署名为港大（HKU）、KAUST 生成式 AI 卓越中心、华为香港的综述论文《Towards Next-Generation Architectures of Large Language Models: A Survey》挂到了Preprints.org，LSTM 之父、现任教于 KAUST 的 Jürgen Schmidhuber 是这篇综述背后最关键的学术坐标。Computer, Electrical and Mathematical Sciences and Engineering论文把 "后 Transformer 时代 " 所有主流路线 —— 高效注意力、KV 缓存压缩、线性 RNN SSM（Mamba RWKV xLSTM LRU）、MoE、新激活函数、新位置编码、多 Token 预测、自适应循环深度、混合架构 —— 全部按组件和系统两个层次梳理了一遍，并把开源模型族 LLaMA、Qwen、DeepSeek 的设计模式做了横向对比。Preprints.org下面把这篇综述的核心结论、架构地图和选型逻辑一次说清。