
一句话结论:截至 2026 年,没有任何一个前沿规模的大模型用纯替代架构(纯 RWKV / 纯 RetNet / 纯 Mamba)作为唯一的序列算子;真正跑在生产上的是\”大部分线性层 + 少量全注意力层\”的混合体。替代品没有赢,但\”给注意力配额\”这件事赢了。
本文不站队,只做三件事:把 RWKV 从 v4 到 v8 的每一次改动讲清、把 RetNet 那套\”并行 / 递推 / 分块\”三重形式推导到能自己写出来、用六组本机实测回答\”固定状态到底丢掉了什么\”。
接上一篇:第 45 篇《线性注意力机制综述》给出的答案是 3:1 混合。本篇追问下一步——如果线性层已经能工作,能不能干脆把剩下的全注意力层也一起拿掉?
一、先统一语言:这三家其实在解同一道题
讨论替代架构最容易犯的错误,是把 RWKV、RetNet、Mamba 当成三个不同的东西。它们的分野不在\”是不是 RNN\”,而在状态怎么写、怎么衰减。
网硕互联帮助中心





评论前必须登录!
注册