EfficientNet 模型的复合缩放方法

EfficientNet 是 Google 提出的兼顾精度与计算效率的轻量化卷积神经网络，核心创新是复合缩放策略，在 ImageNet 上用更少参数量超越 ResNet、DenseNet 等传统模型，广泛用于图像分类、目标检测、分割等任务。

一、核心创新 1：复合缩放 Compound Scaling

传统 CNN 放大模型时只会单独修改一个维度：

单独缩放会很快达到精度饱和，算力浪费。

EfficientNet 提出三个维度按固定比例同步放大。

图中说明：

(a) Baseline 基准模型（B0）

(b) 只加宽

(c) 只加深

(d) 只提高分辨率

(e) 复合缩放（三者均衡放大，效果最优）

数学公式：

\\(d=\\alpha^\\phi,\\quad w=\\beta^\\phi,\\quad r=\\gamma^\\phi\\\\ \\alpha\\cdot\\beta^2\\cdot\\gamma^2\\approx2\\)

固定超参 \\(\\alpha=1.2,\\beta=1.1,\\gamma=1.15\\)；\\(\\phi\\) 是全局缩放系数，用来生成 B0~B7 一系列模型：

• B0：\\(\\phi=0\\)，轻量快速（224×224 输入）
• B7：\\(\\phi=7\\)，高精度大模型（600×600 输入）

二、基准网络 EfficientNet‑B0 整体架构

B0 由 NAS 神经架构搜索自动得到，作为缩放的基础模板。

整体流水线分为三大部分：

三、核心基础模块：MBConv（Mobile Inverted Bottleneck）

整个网络重复堆叠带 SE 注意力的 MBConv6 模块，结构拆解：

四、性能对比（和经典 CNN 对比）

• EfficientNet‑B7 精度超越 GPipe，但参数量从 556M 降低到 66M，速度提升 6 倍以上
• 在相同计算量下，EfficientNet 的准确率全面优于 ResNet、Xception、SENet

五、消融实验

从同一个 B0 基线出发，分别执行：只缩放宽度、只缩放深度、只缩放分辨率、复合缩放。

六、与其他的SOTA的performance的比较

七、模型结构

EfficientNet-B0

EfficientNet-B0架构。(x2表示括号内的模块重复两次)

EfficientNet-B1

EfficientNet-B1的结构

EfficientNet-B2

整体网络架构和B1一样，仅调整特征通道数量与模块堆叠层数，增加了模型参数量。

EfficientNet-B3

EfficientNet-B3的结构

EfficientNet-B4

EfficientNet-B4的结构

EfficientNet-B5

EfficientNet-B5的结构

EfficientNet-B6

EfficientNet-B6的结构

EfficientNet-B7

EfficientNet-B7的结构