AI大模型与数学 第74课 ｜线性无关、线性相关、向量空间

 本课不急着记公式。

你可以把它理解成：向量之间是否互相重复、能不能组合出新空间。

一、本节课要解决什么问题？

上一节课我们学了矩阵的秩。

秩告诉我们：

一个矩阵里真正有效的信息维度有多少。

但秩为什么会变小？

为什么有些矩阵看起来很大，实际信息却很弱？

这就涉及三个核心概念：

1. 线性无关

2. 线性相关

3. 向量空间

这三个概念是理解线性代数的关键，也是以后理解：

– 数据为什么有冗余

– 特征为什么可以降维

– 模型为什么会过拟合

– 矩阵为什么满秩或降秩

– 大模型输入向量为什么能表示语义的基础。

二、先从“向量组合”讲起

假设有两个向量：

a=\\begin{pmatrix}1\\\\2\\end{pmatrix}

b=\\begin{pmatrix}2\\\\4\\end{pmatrix}

你会发现：

b=2a

也就是说：

第二个向量可以由第一个向量乘以2得到。

这说明什么？

说明这两个向量看起来是两条向量，但它们本质上指向同一个方向。

它们之间不是完全独立的，而是存在重复关系。 

这就是“线性相关”的直观来源。

三、什么是线性组合？

在讲线性相关之前，先要理解一个词：

线性组合

线性组合的意思是：

给一些向量分别乘上数字，再把它们加起来。

例如：

假设有向量：

v_1,v_2,v_3

那么：

2v_1+3v_2-5v_3

就是它们的一个线性组合。

再比如：

0.5v_1+0v_2+4v_3

也是线性组合。

其中系数可以是：

– 正数

– 负数

– 零

– 分数

所以，线性组合不是指复杂组合，而是指：

缩放之后再相加。

四、什么是线性相关？ 

定义 

如果一组向量中：

至少有一个向量可以由其他向量线性组合表示出来。

那么这组向量就是线性相关的。

换句话说：

这些向量之间存在冗余信息。

例子1

有三个向量：

v_1=\\begin{pmatrix}1\\\\0\\end{pmatrix}

v_2=\\begin{pmatrix}0\\\\1\\end{pmatrix}

v_3=\\begin{pmatrix}2\\\\3\\end{pmatrix}

这里：

v_3=2v_1+3v_2

所以： 

v_3 可以由 v_1 和 v_2 表示出来。

因此这三个向量是：

线性相关

例子2

再看这组向量：

a=\\begin{pmatrix}1\\\\2\\end{pmatrix}

b=\\begin{pmatrix}2\\\\4\\end{pmatrix}

因为：

b=2a

所以 b 可以由 a 表示出来。

因此：

a,b线性相关

线性相关的本质

线性相关意味着：

增加新的向量，但没有增加新的有效方向。

就像你说话时重复表达同一个意思：

– “今天天气很好”

– “今天天气不错”

– “今天天气非常好”

三句话看起来多，但信息并没有真正增加。

这就是线性相关。

五、什么是线性无关？

定义

如果一组向量中：

没有任何一个向量可以由其他向量线性组合表示出来。

那么这组向量就是线性无关的。

换句话说：

每个向量都提供了新的、不能被替代的信息。

例子

假设有：

v_1=\\begin{pmatrix}1\\\\0\\end{pmatrix}

v_2=\\begin{pmatrix}0\\\\1\\end{pmatrix}

能不能用 v_1 表示 v_2？

不能。

能不能用 v_2 表示 v_1？

也不能。

所以它们是：

线性无关

线性无关的本质

线性无关意味着：

每个向量都代表一个独立方向。

比如：

– 横向移动

– 纵向移动

– 高度方向

如果三个方向都不能互相替代，它们就是线性无关的。

六、一个重要判断标准：零向量一定线性相关

为什么？

因为零向量可以表示为：

0\\cdot v_1+0\\cdot v_2+\\dots

也就是说：

零向量不需要任何新信息，也可以被组合出来。

所以只要一组向量里包含零向量，这组向量就一定线性相关。

这一点很重要。

它对应现实中的一个直觉：

如果一个特征向量全是零，它实际上没有提供有效信息。

七、线性相关和线性无关的数学表达

1. 线性无关

如果方程：

k_1v_1+k_2v_2+\\dots+k_nv_n=0

只有唯一解：

k_1=0,k_2=0,\\dots,k_n=0

那么向量组：

v_1,v_2,\\dots,v_n

线性无关。

2. 线性相关

如果方程：

k_1v_1+k_2v_2+\\dots+k_nv_n=0

存在不全为零的解。

也就是说，系数 k_1,k_2,\\dots,k_n 不全部为0时，等式也能成立。

那么这组向量线性相关。

怎么理解这个判断式？

你可以这样记：

线性无关：只有所有系数都为0，才能组合出零向量。

线性相关：不用所有系数都为0，也能组合出零向量。

为什么要用“零向量”来判断？

因为零向量代表“没有新方向”。

如果一组向量可以不用全部为零就组合出零向量，说明它们之间存在抵消、重复、冗余关系。

八、什么是向量空间？

通俗理解

向量空间可以理解成：

一组向量通过线性组合所能到达的全部位置。

例如：

在二维平面中，如果有两个不共线的向量：

v_1,v_2

那么它们的线性组合可以铺满整个平面。

也就是说：

它们张成了一个二维向量空间。

正式一点说

给定一组向量：

v_1,v_2,\\dots,v_n

它们所有可能的线性组合：

k_1v_1+k_2v_2+\\dots+k_nv_n

构成的集合，就叫做由这组向量张成的向量空间。

记作：

span\\{v_1,v_2,\\dots,v_n\\}

向量空间不是“向量数量”

注意：

向量空间的大小，不是看有多少个向量，而是看这些向量真正能撑开多少个维度。

比如：

– 100个方向相同的向量，也只能撑开1维空间。

– 2个不共线的二维向量，可以撑开整个二维空间。

所以：

向量空间的维度，不等于向量的个数。

它等于这些向量中线性无关向量的最大个数。

也就是等于：

秩

九、基向量：空间里的最小代表

如果一组向量满足两个条件：

1. 它们线性无关

2. 它们可以张成整个向量空间

那么这组向量就可以称为这个空间的一组基。

通俗理解

基向量就是：

代表这个空间的最少方向。

比如在地面上，你可以用：

– 前后

– 左右

两个方向表示任意位置。

这两个方向就是一组基。

但如果你再加一个“前方向量”，它其实没有增加新方向，所以它不是必须的。

十、维数：向量空间真正有几维？

向量空间的维数，不是看每个向量有几个数字。

而是看：

这个空间里最多能找到多少个线性无关的向量。

例如：

如果一个向量空间里，最多只能找到2个线性无关的向量。

那么它就是二维空间。

即使你有1000个向量，只要它们都只能在一个平面内移动，空间仍然是二维的。

十一、本课核心关系图

你可以把这节课记成一条线：

向量组 → 线性无关 → 张成空间 → 基 → 维数 → 秩

解释一下：

1. 我们有一组向量

2. 其中线性无关的向量代表真正独立的方向

3. 这些方向可以张成一个向量空间

4. 基就是空间的最小代表

5. 维数就是空间的真实维度

6. 矩阵的秩，就是矩阵中行向量或列向量张成空间的维数

所以：

秩=有效独立向量个数=真实空间维数

十二、为什么这些概念对AI很重要？

1. 特征冗余

如果两个特征向量线性相关，说明它们提供的信息高度重复。

例如：

– 身高厘米

– 身高米

这两个特征本质上是同一个信息。

模型看到的是两列数据，但实际信息只有一个。

这就是线性相关。

2. 降维

PCA、SVD等降维方法，本质上都是在做一件事：

去掉冗余方向，保留最有代表性的基方向。

也就是保留更重要的向量空间。

3. 词向量语义表示

在大模型中，一个词或一句话会被表示成一个向量。

如果两个向量语义相近，它们在向量空间中的位置也会接近。

如果某些维度重复，说明这些方向可以被压缩。

4. 模型训练中的矩阵稳定性

如果权重矩阵中存在大量线性相关的行或列，说明参数之间存在冗余。

这可能导致：

– 训练不稳定

– 梯度异常

– 模型泛化能力下降

– 参数数量很大，但表达能力没有提升

十三、本课一句话总结

线性无关表示“信息不重复”，线性相关表示“信息有冗余”，向量空间表示“这些向量能撑开的全部可能性”。

而矩阵的秩，就是这个向量空间的真实维数。

十四、配套理解口诀

你可以这样背：

线性无关：谁也替代不了谁。

线性相关：有人可以被别人表示。

向量空间：所有能组合出来的位置。

基：最少但足够的代表。

维数：真正有几维。

秩：有效信息的真实数量。

十五、课后理解题

1. 判断：如果两个向量方向相同，它们是否线性相关？

2. 判断：如果三个二维向量放在一起，是否一定线性相关？

3. 填空：向量空间的维数，等于该组向量中______向量的最大个数。

4. 思考：为什么AI训练中，如果特征矩阵存在大量线性相关特征，通常需要降维？

5. 思考：秩、线性无关、向量空间维数之间有什么关系？

参考答案

是的。因为其中一个向量可以由另一个向量乘以常数得到，所以线性相关。

是的。二维空间中最多只能有两个线性无关的向量。因此三个二维向量一定线性相关。

线性无关。因为大量线性相关特征意味着信息重复，会增加计算成本，也可能让模型参数冗余、训练不稳定、泛化能力下降。

秩等于矩阵中行向量或列向量张成空间的维数，也等于该矩阵中线性无关向量的最大个数。