标签：#长上下文缩放

RoPE 可以与 Q、K 的生产或读取融合，省去单独张量物化。但“融合”不应改变模型原本使用的旋转定义。不同模型的频率、通道配对、位置偏移和长上下...