优化器中的学习率（Learning Rate, lr）：全面详解

一、什么是学习率？

1.1 基本定义

学习率（lr） 是深度学习优化过程中控制参数更新步长大小的超参数。它决定了模型在每次迭代中沿着损失函数梯度反方向移动的“距离”。

以最简单的随机梯度下降（SGD）为例，参数更新公式为：

θt+1=θt−lr⋅∇θL(θt) \\theta_{t+1} = \\theta_t – \\text{lr} \\cdot \\nabla_\\theta \\mathcal{L}(\\theta_t) θ