
【CS336】lecture4 线性注意力|Mamba|GDN|DSA
回顾传统注意力 这节讲的是注意力变体,先回顾一下传统注意力计算开销随上下文窗口是平方量级增长的,也就是O(n)O(n)O(n)上下文...

回顾传统注意力 这节讲的是注意力变体,先回顾一下传统注意力计算开销随上下文窗口是平方量级增长的,也就是O(n)O(n)O(n)上下文...
文章浏览阅读7.7k次,点赞37次,收藏55次。由于本人第一篇博客Mamba 环境安装踩坑问题汇总及解决方法(初版)Linux和Windows的问题夹杂,不易查...