【深度学习】多层感知机（MLP）

1.多层感知机

多层感知机（Multi-Layer Perceptron, MLP） 是结构最简单的深度神经网络。它在\”输入层\”和\”输出层\”之间加入了一层或多层隐藏层，并且在每一层的线性变换之后紧跟一个非线性激活函数。

为什么要加隐藏层？以经典的 XOR 问题为例，单层感知机（没有隐藏层）是一个线性分类器，只能画一条直线把两类样本分开；而 XOR 问题的决策边界不是线性可分的，必须引入至少一个隐藏层来\”提升维度 + 激活函数弯折\”才能解决。

一个单隐藏层的 MLP 的结构示意如下：

[输入层] ──► [隐藏层] ──► [输出层]
（784维） 线性+ReLU （256维） 线性+Softmax （10维）

1.1 前向传播的数学形式

给定一个样本向量 $x\in {\mathbb{R}}^d$（$d$ 为输入特征维数），单隐藏层 MLP 的计算过程可以形式化写为：

$$\mathbf{h}=\sigma \left({\mathbf{W}}_1^T\mathbf{x}+{\mathbf{b}}_1\right),\mathbf{o}={\mathbf{W}}_2^T\mathbf{h}+{\mathbf{b}}_2,\hat{\mathbf{y}}=\mathrm{softmax}(\mathbf{o})$$

其中：

• $\sigma (\cdot )$ 是逐元素非线性激活函数（ReLU、Sigmoid、Tanh 等）
• $W_1\in {\mathbb{R}}^{d\times h},b_1\in {\mathbb{R}}^h$ — 输入层 → 隐藏层的参数
• $W_2\in {\mathbb{R}}^{h\times q},b_2\in {\mathbb{R}}^q$ — 隐藏层 → 输出层的参数
• softmax 将输出向量 $o$ 归一化为一个合法的类别概率分布

为什么一定要非线性？ 如果 $\sigma$ 取恒等函数 $\sigma (z)=z$，那么把上式联立可得 $\hat{y}=W_2^T{W}_1^{T}x+W_2^T{b}_1+b_2$，即退化成一个单层线性模型。这就是\”深层网络若没有激活函数等价于单层模型\”的核心原因。

2. 输入层：接收外部原始数据

MLP 的输入是固定长度的一维向量，这意味着无论原始数据是图像、文本还是音频，都必须先向量化。

本文以 Fashion-MNIST 数据集为例，每个样本的原始形态是一张 $28\times 28$ 的灰度图。在送入 MLP 之前，需要通过 reshape 把它展平成长度为 $784$ 的向量：

$$\underset{\text{原始张量}}{}$$

(1, 28, 28)​​reshape

​