解析 Xavier 初始化：原理、推导与实践

解析 Xavier 初始化：原理、推导与实践

在深度神经网络训练中，初始化策略是决定模型能否成功收敛的关键因素之一。本文将解析由 Xavier Glorot 提出的 Xavier 初始化（又称 Glorot 初始化）。

一、神经网络初始化的挑战

在深度神经网络中，信号需要经过多层传递：

• 前向传播：输入数据逐层变换得到预测结果
• 反向传播：梯度从输出层回传更新权重

若初始化不当，会导致两大问题：

Xavier 初始化的核心目标：保持各层激活值方差稳定，确保前向传播的信号强度和反向传播的梯度强度在初始化时不衰减也不爆炸。

二、核心思想：方差一致性原则

Xavier 初始化基于以下重要观察：
理想情况下，任意层的输入信号方差应等于其输出信号方差：
$$\text{Var}(a^{(l-1)})\approx \text{Var}(a^{(l)})$$
其中：

• $a^{(l-1)}$：第 $l$ 层的输入（即前一层输出）
• $a^{(l)}$：第 $l$ 层的输出

通过数学推导（详见第三节），这一目标可转化为对权重分布的约束条件。

三、数学推导：前向传播的方差分析

考虑第 $l$ 层的线性变换（忽略偏置）：
$$z_i^{(l)}=\sum _{j=1}^{n_{\text{in}}}{w}_{ij}^{(l)}{a}_j^{(l-1)}$$

核心假设：

方差推导过程：

根据方差定义：
$$\text{Var}(z_i^{(l)})=\mathbb{E}\left[(z_i^{(l)}{)}^2\right]-{\left(\mathbb{E}[z_i^{(l)}]\right)}^2$$

步骤1：计算期望 $\mathbb{E}[z_i^{(l)}]$
$$\mathbb{E}[z_i^{(l)}]=\mathbb{E}\left[\sum _{j=1}^{n_{\text{in}}}{w}_{ij}^{(l)}{a}_j^{(l-1)}\right]=\sum _{j=1}^{n_{\text{in}}}\mathbb{E}[w_{ij}^{(l)}]\mathbb{E}[a_j^{(l-1)}]=0$$

步骤2：计算 $\mathbb{E}\left[(z_i^{(l)}{)}^2\right]$
E[(zi(l))2]=E[(∑j=1ninwij(l)aj(l−1))2]=E[∑j=1nin∑k=1ninwij(l)wik(l)aj(l−1)ak(l−1)]
\\mathbb{E}\\left[(z_i^{(l)})^2\\right] = \\mathbb{E}\\left[\\left(\\sum_{j=1}^{n_{\\text{in}}} w_{ij}^{(l)} a_j^{(l-1)}\\right)^2\\right] = \\mathbb{E}\\left[\\sum_{j=1}^{n_{\\text{in}}} \\sum_{k=1}^{n_{\\text{in}}} w_{ij}^{(l)} w_{ik}^{(l)} a_j^{(l-1)} a_k^{(l-1)}\\right]
E[(zi(l)​)2]=E​(j=1∑nin​​wij(l)​aj(l−1)​)2​=E[j=1∑nin​​k=1∑nin​​wij(l)​wik(l)​aj(l−1)​ak(l−1)​]

步骤3：分解双重求和
$$=\sum _{j=1}^{n_{\text{in}}}\sum _{k=1}^{n_{\text{in}}}\mathbb{E}\left[w_{ij}^{(l)}{w}_{ik}^{(l)}{a}_j^{(l-1)}{a}_k^{(l-1)}\right]$$

步骤4：处理交叉项（$j\ne k$）
当 $j\ne k$ 时，由独立性假设：
$$\mathbb{E}\left[w_{ij}^{(l)}{w}_{ik}^{(l)}{a}_j^{(l-1)}{a}_k^{(l-1)}\right]=\mathbb{E}[w_{ij}^{(l)}]\mathbb{E}[w_{ik}^{(l)}]\mathbb{E}[a_j^{(l-1)}]\mathbb{E}[a_k^{(l-1)}]=0$$

步骤5：处理对角项（$j=k$）
当 $j=k$ 时：
$$\mathbb{E}\left[(w_{ij}^{(l)}{)}^2(a_j^{(l-1)}{)}^2\right]=\mathbb{E}\left[(w_{ij}^{(l)}{)}^2\right]\mathbb{E}\left[(a_j^{(l-1)}{)}^2\right]$$

步骤6：利用零均值性质
$$\mathbb{E}\left[(w_{ij}^{(l)}{)}^2\right]=\text{Var}(w^{(l)})+{\left(\mathbb{E}[w_{ij}^{(l)}]\right)}^2=\text{Var}(w^{(l)})$$
$$\mathbb{E}\left[(a_j^{(l-1)}{)}^2\right]=\text{Var}(a^{(l-1)})$$

步骤7：合并结果
$$\mathbb{E}\left[(z_i^{(l)}{)}^2\right]=\sum _{j=1}^{n_{\text{in}}}\text{Var}(w^{(l)})\cdot \text{Var}(a^{(l-1)})=n_{\text{in}}\cdot \text{Var}(w^{(l)})\cdot \text{Var}(a^{(l-1)})$$

最终方差表达式：
$$\boxed{\text{Var}(z_i^{(l)})=n_{\text{in}}\cdot \text{Var}(w^{(l)})\cdot \text{Var}(a^{(l-1)})}$$

目标约束：

为使前向传播中方差稳定：
$$\text{Var}(z_i^{(l)})\approx \text{Var}(a_j^{(l-1)})$$
代入上式得：
$$n_{\text{in}}\cdot \text{Var}(w^{(l)})\cdot \text{Var}(a^{(l-1)})\approx \text{Var}(a^{(l-1)})$$
$$\Rightarrow \boxed{\text{Var}(w^{(l)})\approx \frac{1}{n_{\text{in}}}}$$

四、反向传播的梯度方差分析

考虑损失函数 $\mathcal{L}$ 对第 $l$ 层输入的梯度：
$${\delta }_j^{(l-1)}=\frac{\partial \mathcal{L}}{\partial a_j^{(l-1)}}=\sum _{i=1}^{n_{\text{out}}}\frac{\partial \mathcal{L}}{\partial z_i^{(l)}}\frac{\partial z_i^{(l)}}{\partial a_j^{(l-1)}}=\sum _{i=1}^{n_{\text{out}}}{\delta }_i^{(l)}{w}_{ij}^{(l)}$$

核心假设：

方差推导过程：

$$\text{Var}({\delta }_j^{(l-1)})=\mathbb{E}\left[({\delta }_j^{(l-1)}{)}^2\right]-{\left(\mathbb{E}[{\delta }_j^{(l-1)}]\right)}^2$$

步骤1：计算期望 $\mathbb{E}[{\delta }_j^{(l-1)}]$
$$\mathbb{E}[{\delta }_j^{(l-1)}]=\mathbb{E}\left[\sum _{i=1}^{n_{\text{out}}}{\delta }_i^{(l)}{w}_{ij}^{(l)}\right]=\sum _{i=1}^{n_{\text{out}}}\mathbb{E}[{\delta }_i^{(l)}]\mathbb{E}[w_{ij}^{(l)}]=0$$

步骤2：计算 $\mathbb{E}\left[({\delta }_j^{(l-1)}{)}^2\right]$
E[(δj(l−1))2]=E[(∑i=1noutδi(l)wij(l))2]=E[∑i=1nout∑k=1noutδi(l)δk(l)wij(l)wkj(l)]
\\mathbb{E}\\left[(\\delta_j^{(l-1)})^2\\right] = \\mathbb{E}\\left[\\left(\\sum_{i=1}^{n_{\\text{out}}} \\delta_i^{(l)} w_{ij}^{(l)}\\right)^2\\right] = \\mathbb{E}\\left[\\sum_{i=1}^{n_{\\text{out}}} \\sum_{k=1}^{n_{\\text{out}}} \\delta_i^{(l)} \\delta_k^{(l)} w_{ij}^{(l)} w_{kj}^{(l)}\\right]
E[(δj(l−1)​)2]=E​(i=1∑nout​​δi(l)​wij(l)​)2​=E[i=1∑nout​​k=1∑nout​​δi(l)​δk(l)​wij(l)​wkj(l)​]

步骤3：分解双重求和
$$=\sum _{i=1}^{n_{\text{out}}}\sum _{k=1}^{n_{\text{out}}}\mathbb{E}\left[{\delta }_i^{(l)}{\delta }_k^{(l)}{w}_{ij}^{(l)}{w}_{kj}^{(l)}\right]$$

步骤4：处理交叉项（$i\ne k$）
当 $i\ne k$ 时：
$$\mathbb{E}\left[{\delta }_i^{(l)}{\delta }_k^{(l)}{w}_{ij}^{(l)}{w}_{kj}^{(l)}\right]=\mathbb{E}[{\delta }_i^{(l)}]\mathbb{E}[{\delta }_k^{(l)}]\mathbb{E}[w_{ij}^{(l)}]\mathbb{E}[w_{kj}^{(l)}]=0$$

步骤5：处理对角项（$i=k$）
当 $i=k$ 时：
$$\mathbb{E}\left[({\delta }_i^{(l)}{)}^2(w_{ij}^{(l)}{)}^2\right]=\mathbb{E}\left[({\delta }_i^{(l)}{)}^2\right]\mathbb{E}\left[(w_{ij}^{(l)}{)}^2\right]$$

步骤6：利用零均值性质
$$\mathbb{E}\left[({\delta }_i^{(l)}{)}^2\right]=\text{Var}({\delta }^{(l)})$$
$$\mathbb{E}\left[(w_{ij}^{(l)}{)}^2\right]=\text{Var}(w^{(l)})$$

步骤7：合并结果
$$\mathbb{E}\left[({\delta }_j^{(l-1)}{)}^2\right]=\sum _{i=1}^{n_{\text{out}}}\text{Var}({\delta }^{(l)})\cdot \text{Var}(w^{(l)})=n_{\text{out}}\cdot \text{Var}({\delta }^{(l)})\cdot \text{Var}(w^{(l)})$$

最终方差表达式：
$$\boxed{\text{Var}({\delta }_j^{(l-1)})=n_{\text{out}}\cdot \text{Var}(w^{(l)})\cdot \text{Var}({\delta }^{(l)})}$$

目标约束：

为使反向传播中梯度方差稳定：
$$\text{Var}({\delta }_j^{(l-1)})\approx \text{Var}({\delta }_i^{(l)})$$
代入上式得：
$$n_{\text{out}}\cdot \text{Var}(w^{(l)})\cdot \text{Var}({\delta }^{(l)})\approx \text{Var}({\delta }^{(l)})$$
$$\Rightarrow \boxed{\text{Var}(w^{(l)})\approx \frac{1}{n_{\text{out}}}}$$

五、折中方案：双向调和

综合前向传播约束和反向传播约束：

• 前向传播要求：$\text{Var}(w)\approx \frac{1}{n_{\text{in}}}$
• 反向传播要求：$\text{Var}(w)\approx \frac{1}{n_{\text{out}}}$

Xavier 采用调和平均数平衡两者：
$$\frac{1}{\text{Var}(w)}=\frac{1}{2}\left(\frac{1}{\frac{1}{n_{\text{in}}}}+\frac{1}{\frac{1}{n_{\text{out}}}}\right)=\frac{n_{\text{in}}+n_{\text{out}}}{2}$$

$$\Rightarrow \boxed{\text{Var}(w)=\frac{2}{n_{\text{in}}+n_{\text{out}}}}$$

该方案确保信号在前向传播和梯度在反向传播都能保持稳定，为深层网络训练提供良好起点。

数学直觉：调和平均数倾向于较小值，这防止了梯度爆炸（方差过大）同时缓解梯度消失（方差过小）

六、两种具体实现方式

1. Xavier 均匀分布

$$\text{limit}=\sqrt{\frac{6}{n_{\text{in}}+n_{\text{out}}}}$$
$$W\sim \text{Uniform}(-\text{limit},\text{limit})$$
推导依据：均匀分布 $\text{Uniform}(-a,a)$ 的方差为 $a^2/3$

2. Xavier 正态分布

$$\sigma =\sqrt{\frac{2}{n_{\text{in}}+n_{\text{out}}}}$$
$$W\sim \mathcal{N}(0,{\sigma }^2)$$

七、关键细节与注意事项

八、主流框架实现

PyTorch 示例

# 均匀分布版本
linear_layer = nn.Linear(in_features, out_features)
nn.init.xavier_uniform_(linear_layer.weight, gain=1.0)

# 正态分布版本
conv_layer = nn.Conv2d(in_channels, out_channels, kernel_size)
nn.init.xavier_normal_(conv_layer.weight, gain=1.0)

gain 参数：用于补偿激活函数导数（如 sigmoid 建议 gain=1，tanh 建议 gain=5/3）

TensorFlow 示例

dense = tf.keras.layers.Dense(
units=64,
kernel_initializer='glorot_uniform' # Xavier 初始化
)

九、总结：为什么 Xavier 初始化有效？

实践意义：
Xavier 初始化使深层网络在训练初期就能保持信号和梯度的稳定性，显著缓解梯度消失/爆炸问题，为优化器提供良好的起点。尽管现代网络多使用 ReLU 族激活函数（需 He 初始化），但 Xavier 仍是理解权重初始化理论的基石，其思想被后续多种优化算法继承发展。

“初始化的本质是为优化过程提供一个平滑的起点” —— Xavier Glorot, AISTATS 2010