为什么 Dropout 能抑制过拟合：原理、数学推导与工程实现

一句话概括： Dropout 在训练阶段随机关闭一部分神经元，让模型无法长期依赖某一组固定特征组合；这迫使网络学习更分散、更稳健的表示，并近似实现许多子网络的模型集成，从而减小训练集与未知数据之间的泛化差距。

在这里插入图片描述

1. 先理解：什么是过拟合？

神经网络拥有大量参数，表达能力很强。它不仅能够学习数据中的一般规律，也可能记住训练集中的噪声、偶然模式甚至错误标注。

典型现象是：

训练损失持续下降；
训练准确率非常高；
验证损失先下降后上升；
模型遇到未见过的数据时表现明显变差。

这说明模型学习到的并不全是可迁移的规律，而是形成了对训练样本的“特殊解法”。

从神经元的角度看，过拟合常常伴随着一种现象：某些神经元逐渐形成固定分工，并高度依赖彼此。例如，一个神经元只检测局部纹理，另一个只在前者激活时才检测某种组合。只要训练数据中的组合关系稳定，这套协作就能获得很低的训练损失；但数据分布稍有变化，整套脆弱的协作可能同时失效。

这种现象通常被称为 co-adaptation（共同适应或协同适应）。

2. Dropout 到底做了什么？

假设某一层的激活向量为：

[

…

]

\\mathbf{h} = [h_1, h_2, \\dots, h_n]

$h = [h_{1}, h_{2}, \dots, h_{n}]$

设 Dropout 的丢弃概率为

$p$ ，保留概率为：

−

q = 1-p

$q = 1 - p$

训练时，对每个激活值独立采样一个伯努利随机变量：

∼

Bernoulli

⁡

(

)

m_i \\sim \\operatorname{Bernoulli}(q)

$m_{i} \sim Bernoulli (q)$

其中：

{

以概率

保留神经元

以概率

丢弃神经元

m_i = \\begin{cases} 1, & \\text{以概率 } q \\text{保留神经元}\\\\ 0, & \\text{以概率 } p \\text{丢弃神经元} \\end{cases}

$m_{i} = {1, 0, 以概率 q 保留神经元以概率 p 丢弃神经元$

现代深度学习框架通常采用 Inverted Dropout（反向缩放 Dropout）：

−

\\tilde{h}_i = \\frac{m_i h_i}{q} = \\frac{m_i h_i}{1-p}

$\tilde{h}_{i} = \frac{m _{i} h _{i}}{q} = \frac{m _{i} h _{i}}{1 - p}$

也就是说：

训练阶段随机把一部分激活置为 0；

未被置零的激活乘以

推理阶段直接关闭 Dropout，不再额外缩放。

在这里插入图片描述

为什么要乘以

因为：

[

]

\\mathbb{E}[m_i] = q

$E [m_{i}] = q$

所以：

[

]

[

]

[

]

\\mathbb{E}[\\tilde{h}_i] = \\mathbb{E}\\left[\\frac{m_i h_i}{q}\\right] = \\frac{h_i}{q}\\mathbb{E}[m_i] = h_i

$E [\tilde{h}_{i}] = E [\frac{m _{i} h _{i}}{q}] = \frac{h _{i}}{q} E [m_{i}] = h_{i}$

因此，训练阶段经过随机丢弃和缩放后的激活，其期望值与原始激活相同。

这让训练模式和推理模式之间更容易衔接：

训练时：随机置零并放大保留值；
推理时：所有神经元正常工作，Dropout 层等价于恒等映射。

3. 为什么 Dropout 能抑制过拟合？

Dropout 的作用不能只理解成“少用几个神经元”。它主要通过以下四种相互关联的机制改善泛化。

3.1 打破神经元之间的共同适应

没有 Dropout 时，一个神经元可以默认其他特定神经元始终存在，于是它可能只学习一个高度依赖上下文的脆弱特征。

加入 Dropout 后，任何一个搭档都可能在下一次前向传播中被关闭。为了继续完成预测，神经元不能把希望全部寄托在某条固定路径上，而必须学习在不同上下文中都有效的特征。

可以把它理解成团队协作：

没有 Dropout：每个人只会完成极窄的一小步，任何人缺席都会让流程中断；
使用 Dropout：成员经常随机缺席，因此每个人都必须具备更独立、更可替代的能力。

结果通常是隐藏表示更冗余，但也更稳健。

3.2 每次更新都在训练一个不同的子网络

如果一层有

$n$ 个可被丢弃的神经元，从组合意义上说，理论上可以产生大量不同的保留/丢弃模式。

每个 mini-batch 都会采样一个新的掩码，因此参数更新并不是只针对同一个固定网络，而是在大量共享参数的子网络之间交替进行。

在这里插入图片描述

这带来一种类似模型集成的效果：

不同子网络看到相同数据；
它们共享参数，不需要分别存储；
推理时使用完整网络，近似整合许多子网络的预测。

需要注意：这是一种近似解释，并不意味着实际部署时真的枚举并平均所有子网络。

3.3 向激活中注入乘性噪声

Dropout 可以写成：

⊙

\\tilde{\\mathbf{h}} = \\mathbf{h} \\odot \\frac{\\mathbf{m}}{q}

$\tilde{h} = h ⊙ \frac{m}{q}$

其中

⊙

\\odot

$⊙$ 表示逐元素乘法。

因此，Dropout 本质上是在隐藏表示中注入随机的乘性噪声。模型如果想在这种扰动下仍然保持低损失，就必须让决策函数对部分特征缺失更加不敏感。

这种“对扰动保持稳定”的要求，本身就是一种正则化约束。

3.4 降低每一步训练中的有效容量

Dropout 不会删除权重，也不会减少模型的参数总量，但在某一次训练前向传播中，只有部分神经元和连接实际参与计算。

因此，每次参数更新所对应的有效子网络比完整网络更小。模型仍然拥有完整容量，但无法让全部容量在每个样本上无条件协同工作。

这会增加训练难度，却往往能阻止模型过早记住训练集中的偶然细节。

4. Dropout 如何改变训练曲线？

加入 Dropout 后，常见现象是：

训练损失下降得更慢；
训练准确率可能更低；
验证损失更加稳定；
训练集与验证集之间的差距缩小。

在这里插入图片描述

上图是用于说明趋势的示意曲线，不是特定数据集上的实验结果。

一个容易产生误解的地方是：使用 Dropout 后，训练指标暂时变差并不一定意味着模型退化。正则化的目标本来就不是让训练集分数最大，而是让未见数据上的误差更小。

5. 从零实现 Inverted Dropout

下面用 NumPy 实现最核心的逻辑：

import numpy as np

def dropout(x: np.ndarray, p: float = 0.5, training: bool = True) –> np.ndarray:
"""
Inverted Dropout。

参数:
x: 输入激活。
p: 丢弃概率，必须满足 0 <= p < 1。
training: 是否处于训练模式。

返回:
经过 Dropout 处理的数组。
"""
if not 0.0 <= p < 1.0:
raise ValueError("p 必须满足 0 <= p < 1")

if not training or p == 0.0:
return x

keep_prob = 1.0 – p
mask = (np.random.random(x.shape) < keep_prob).astype(x.dtype)

return x * mask / keep_prob

一次简单测试：

np.random.seed(42)

x = np.ones((2, 8), dtype=np.float32)
print(dropout(x, p=0.5, training=True))

输出中大约一半元素会被置为 0，其余元素会被放大为 2。虽然单次输出的均值会有随机波动，但重复采样后的期望仍接近原输入。

6. PyTorch 中的实现

6.1 在网络结构中使用 nn.Dropout

import torch
from torch import nn

class MLP(nn.Module):
def __init__(self, input_dim: int, num_classes: int) –> None:
super().__init__()
self.network = nn.Sequential(
nn.Linear(input_dim, 256),
nn.ReLU(),
nn.Dropout(p=0.5),
nn.Linear(256, 128),
nn.ReLU(),
nn.Dropout(p=0.3),
nn.Linear(128, num_classes),
)

def forward(self, x: torch.Tensor) –> torch.Tensor:
return self.network(x)

model = MLP(input_dim=784, num_classes=10)

6.2 训练和推理模式必须切换

# 训练阶段：Dropout 生效
model.train()

for inputs, labels in train_loader:
optimizer.zero_grad()
logits = model(inputs)
loss = criterion(logits, labels)
loss.backward()
optimizer.step()

# 验证或推理阶段：Dropout 关闭
model.eval()

with torch.no_grad():
for inputs, labels in val_loader:
logits = model(inputs)

model.eval() 不会关闭梯度，因此验证阶段通常还要配合 torch.no_grad()。两者作用不同：

model.eval()：切换 Dropout、BatchNorm 等模块的行为；
torch.no_grad()：停止构建自动求导图，减少内存和计算开销。

6.3 函数式调用

import torch.nn.functional as F

x = F.dropout(x, p=0.5, training=self.training)

关键是把模块当前的 self.training 状态传进去，否则很容易在推理阶段仍然随机丢弃激活。

7. Keras 中的实现

import keras
from keras import layers

model = keras.Sequential(
[
layers.Input(shape=(784,)),
layers.Dense(256, activation="relu"),
layers.Dropout(0.5),
layers.Dense(128, activation="relu"),
layers.Dropout(0.3),
layers.Dense(10),
]
)

model.compile(
optimizer="adam",
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=["accuracy"],
)

使用 model.fit() 时，Keras 会自动在训练阶段启用 Dropout，在验证和推理阶段关闭 Dropout。

手动调用层时，也可以显式指定：

dropout = layers.Dropout(0.5)

training_output = dropout(x, training=True)
inference_output = dropout(x, training=False)

8. Dropout 应该放在哪里？

在普通多层感知机中，常见写法是：

Linear → Activation → Dropout

例如：

nn.Linear(256, 128),
nn.ReLU(),
nn.Dropout(0.3),

在含 Batch Normalization 的网络中，常见顺序之一是：

Linear/Conv → BatchNorm → Activation → Dropout

但这不是不可改变的定律。层顺序会影响激活分布和优化过程，最终仍应通过验证集或消融实验确认。

卷积网络中的选择

普通 Dropout 会随机置零单个元素。对于卷积特征图，相邻像素往往高度相关，单独丢弃少数像素可能作用有限，因此可以考虑按通道丢弃：

nn.Dropout2d(p=0.2)

在 Keras 中可考虑：

layers.SpatialDropout2D(0.2)

这类变体会丢弃整个特征通道，更适合部分卷积网络。

9. 丢弃率

常见起点如下，但不是硬性规则：

场景可尝试的丢弃率

输入层	0.05～0.2
MLP 隐藏层	0.2～0.5
卷积网络	0.1～0.3
数据很少、模型很大	可适当提高
已有较强数据增强和权重衰减	可适当降低

调参时可以观察：

训练和验证都很差：可能 Dropout 太强，导致欠拟合；

训练很好、验证明显变差：可以提高 Dropout，或结合权重衰减、数据增强；

训练过程非常不稳定：可以降低丢弃率，或调整学习率；

模型本身很小： Dropout 可能不必要，甚至损害性能。

通常不建议一开始就把所有层都设置成 p=0.5。越接近输出的高层表示，是否需要较强 Dropout，也取决于任务、数据规模和网络结构。

10. 常见误区

误区一：Dropout 会减少参数量

不会。Dropout 只在前向传播中临时把激活置零，权重矩阵仍然完整存在，参数数量不变。

误区二：被丢弃的权重不会再训练

某次前向传播中，与被关闭神经元相关的梯度可能为零；下一次采样时，这些神经元可能重新启用并继续参与训练。

误区三：推理时也应该随机丢弃

标准推理中应关闭 Dropout。否则同一个输入会得到随机变化的输出。

一个例外是 Monte Carlo Dropout：有时会在推理阶段故意保持 Dropout，多次采样预测，用预测分布近似衡量不确定性。这属于额外方法，不是普通部署流程。

误区四：Dropout 越大，正则化越好

过强的 Dropout 会破坏过多信息，使优化困难并导致欠拟合。正则化强度需要与模型容量和数据规模匹配。

误区五：有了 Dropout 就不需要其他方法

Dropout 只是正则化工具之一。实际项目中通常还会组合：

数据增强；
权重衰减；
Early Stopping；
降低模型规模；
增加数据量；
标签平滑；
更合理的验证集划分。

11. Dropout 的局限性

Dropout 并不是所有网络的默认最优选择。

在部分现代卷积网络中，强数据增强、归一化和权重衰减已经能够提供足够正则化；
在循环神经网络中，时间步之间如何共享掩码会影响效果，不能简单地对所有循环连接独立随机丢弃；
在小模型或本身欠拟合的任务中，Dropout 可能继续降低有效容量；
Dropout 会给梯度引入额外随机性，训练往往需要更多轮次；
与 BatchNorm 一起使用时，两者都改变激活统计，过强组合可能使训练和推理分布更难匹配。

因此，Dropout 应被看作一种可验证的设计选择，而不是必须添加的固定组件。

12. 总结

Dropout 能抑制过拟合，核心不是简单地“删除神经元”，而是训练阶段持续改变网络结构：

⊙

−

∼

Bernoulli

⁡

(

−

)

\\boxed{ \\tilde{\\mathbf{h}} = \\frac{\\mathbf{m}\\odot\\mathbf{h}}{1-p}, \\qquad m_i \\sim \\operatorname{Bernoulli}(1-p) }

$\tilde{h} = \frac{m ⊙ h}{1 - p}, m_{i} \sim Bernoulli (1 - p)$

它带来的主要效果是：

神经元不能长期依赖固定搭档，从而减少共同适应；

随机掩码向隐藏表示注入噪声，提高模型对特征缺失的鲁棒性；

每次迭代训练不同子网络，形成近似的隐式模型集成；

每次更新的有效网络容量降低，使模型更难直接记住训练样本；

Inverted Dropout 保持激活期望不变，让推理阶段可以直接关闭 Dropout。

最终，Dropout 通常会牺牲一部分训练集拟合速度，换取更小的泛化间隙和更稳定的验证表现。

参考资料

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 2014. https://www.jmlr.org/papers/v15/srivastava14a.html

PyTorch Documentation. torch.nn.Dropout. https://docs.pytorch.org/docs/stable/generated/torch.nn.Dropout.html

Keras Documentation. Dropout layer. https://keras.io/api/layers/regularization_layers/dropout/

TensorFlow Documentation. tf.keras.layers.Dropout. https://www.tensorflow.org/api_docs/python/tf/keras/layers/Dropout

为什么 Dropout 能抑制过拟合：原理、数学推导与工程实现