
两张降维散点图颜色相似,就说两个模型“形成了同样的知识拓扑”,证据太弱。反过来,坐标数值大幅变化,也不意味着内部关系被破坏。一个简单旋转就能改变每个坐标,同时保留所有两两距离。
研究模型内部表征时,需要明确自己比较的是欧氏坐标、距离矩阵、局部邻域,还是连续空间中的拓扑性质。它们不是同一个指标。有限样本上的 k 近邻重合率,也不能直接证明两个连续表示空间同胚。

图中点云是概念示意,不按坐标或距离比例绘制;精确距离关系以下面的四点代码为准。
Anthropic 的 global workspace 研究把表征观察与干预联系起来。对普通实验更实际的启发,是不要只凭图形形状下结论:先定义可复算的统计量,再检查它与任务行为是否相关。
import math
points = [(0.0, 0.0), (1.0, 0.0), (0.0, 2.0), (3.0, 1.0)]
rotated = [(-y, x) for x, y in points]
distorted = [(0.0, 0.0), (10.0, 0.0), (0.0, 0.1), (3.0, 1.0)]
def distances(ps):
return [[math.dist(a, b) for b in ps] for a in ps]
def nearest(ps, i):
return min((j for j in range(len(ps)) if j != i),
key=lambda j: (math.dist(ps[i], ps[j]), j))
d1, d2 = distances(points), distances(rotated)
assert all(math.isclose(a, b) for ra, rb in zip(d1, d2)
for a, b in zip(ra, rb))
assert nearest(points, 0) == nearest(rotated, 0) == 1
assert nearest(distorted, 0) == 2
print("rotation preserves pair distances")
print("nearest origin:", nearest(points, 0), "->", nearest(distorted, 0))
代码中的形变改变了指定点的最近邻,但这还不是拓扑断裂的证明。图的“broken neighborhood”指有限点云里的邻接变化,不能扩大成数学意义上的空间撕裂。若实验使用余弦距离,归一化与零向量处理也要先约定;旋转保持欧氏距离的结论不能替代全部度量分析。
真正比较模型时,还需对齐样本身份、层、token 位置和批处理策略。不同层的残差流可能具有不同尺度,二维投影也会丢失信息。可以同时报告距离相关、邻域重合及任务分组表现,让“看起来聚成一团”变成能检查的描述。
本文的四点例子全部是合成数据,已离线执行;没有读取模型激活,也没有验证任何关于知识组织的因果主张。把概念分清,往往比给一张散点图起一个宏大名字更有用。
网硕互联帮助中心






评论前必须登录!
注册