
【CS336】lecture4 线性注意力|Mamba|GDN|DSA
回顾传统注意力 这节讲的是注意力变体,先回顾一下传统注意力计算开销随上下文窗口是平方量级增长的,也就是O(n)O(n)O(n)上下文...

回顾传统注意力 这节讲的是注意力变体,先回顾一下传统注意力计算开销随上下文窗口是平方量级增长的,也就是O(n)O(n)O(n)上下文...

目录前言1. Problem (chinchilla_isoflops): 5 points2. Problem (scaling_laws): 50 poin...