【Keras】各个优化器的介绍与使用（动量优化，Nesterov， AdaGrad，RMSProp，Adam和Nadam优化）

动量优化

• 梯度下降通过直接减去权重的成本函数$J(\theta )$的梯度乘以学习率（${\Delta }_{\theta }J(\theta )$）来更新权重 $\theta$。它不关系较早的梯度是什么。
• 动量优化：在每次迭代时，它都会从动量向量$m$中减去局部梯度（乘以学习率$\eta$），并通过添加该动量来更新权重。
  $$\begin{array}{ll}1.& m\leftarrow \beta m-\eta {\Delta }_{\theta }J(\theta )\\ 2.& \theta \leftarrow \theta +m\end{array}$$
• 如果梯度保持恒定，则最终速度（即权重更新的最大大小）等于该梯度乘以学习率 $\eta$ 在乘以 $1/(1-\beta )$。
• 梯度下降相当快地沿着陡峭的斜坡下降，但是沿着山谷下降需要很长时间。相反，动量优化将沿着山谷滚得越来越快，知道达到谷底（最优解）。
• 在Keras实现动量优化：

optimizer = keras.optimizer.SGD(lr=0.001, momentum=0.9)

Nesterov加速梯度

• Nesterov加速梯度（Nersterov Accelerated Gradient，NAG）也称为Nesterov动量优化，它不是在局部位置$\theta$，而是在$\theta +\beta m$处，沿动量方向稍微提前处，测量成本函数的梯度。
  $$\begin{array}{ll}1.& m\leftarrow \beta m-\eta {\Delta }_{\theta }J(\theta +\beta m)\\ 2.& \theta \leftarrow \theta +m\end{array}$$
• 下图${\Delta }_1$表示在起点$\theta$处计算的梯度，${\Delta }_2$表示在位于$\theta +\beta m$处计算的梯度，当动量推动权重跨越谷底时，${\Delta }_1$继续推动越过谷底，而${\Delta }_2$推回谷底。这有助于减少震荡，因此NAG收敛更快。
  
• 使用NAG：

optimizer = keras.optimizer.SGD(lr=0.001, momentum=0.9, nesterov=True)

AdaGrad

• 梯度下降从快速沿着最陡的坡度下降开始，该坡度没有指向全局最优解。AdaGrad算法通过沿着最陡峭的维度按比例缩小梯度向量来实现，更早地纠正其方向。
  $$\begin{array}{ll}1.& s\leftarrow s+{\Delta }_{\theta }J(\theta )\otimes {\Delta }_{\theta }J(\theta )\\ 2.& \theta -\eta {\Delta }_{\theta }J(\theta )\oslash \sqrt{s+ϵ}\end{array}$$
• 在如上显示的AdaGrad算法中：
  $\otimes$符号表示逐个元素相乘，第一步将梯度的平方累加到向量$s$中。每个$s_i$累加关于参数${\theta }_i$的成本函数偏导数的平方。如果成本函数沿着第$i$个维度陡峭，则$s_i$将在每次迭代中变得越来越大。
  $\oslash$符号表示逐个元素相除，第二步几乎与”梯度下降“相同，只是梯度向量按比例因子 $\sqrt{s+ϵ}$缩小了。
• 该算法会降低学习率，但是对于陡峭的维度，它的执行速度比对缓慢下降的维度的执行速度要快，这称为自适应学习率。它几乎不需要调整学习率超参数$\eta$。
  
• 在训练神经网络时候，它往往停止得太早，不适合用于训练深度神经网络，但对于线性回归之类的简单任务可能是有效的。

RMSProp

• RMSProp算法通过只是累加最近迭代中的梯度（而不是自训练开始以来的所有梯度），通过在第一步中使用指数衰减来实现：
  $$\begin{array}{ll}1.& s\leftarrow \beta s+(1-\beta ){\Delta }_{\theta }J(\theta )\otimes {\Delta }_{\theta }J(\theta )\\ 2.& \theta -\eta {\Delta }_{\theta }J(\theta )\oslash \sqrt{s+ϵ}\end{array}$$
  衰减率$\beta$通常设置为0.9.
• Keras有RMSprop优化器：

optimizer = keras.optimizer.RMSprop(lr=0.001, rho=0.9)

Adam和Nadam优化

• Adam代表自适应钜估计，结合了动量优化和RMSProp的思想：就像动量优化一样，它跟踪过去梯度的指数衰减平均值；想RMSProp一样，它跟踪过去平方梯度的指数衰减平均值。
  
• 动量衰减超参数 ${\beta }_1$ 通常被初始化为0.9，缩放衰减超参数 ${\beta }_2$ 通常被初始化为 0.999.
• 使用Keras来创建Adam优化器：

optimizer = keras.optimizer.Adam(lr=0.001, beta_1=0.9, beta_2=0.999)

• Adam有两个变体：AdaMax和Nadam。

训练稀疏模型

• 密集模型意味大多数参数都是非零的，如果在运行时需要一个非常快的模型，或者需要更少的内存，可以使用稀疏模型。
• 实现方法是像往常一样训练模型，去掉很小的权重（设置为0）。更好的方法是在训练时使用强1正规化，它会迫使优化器产生更多的为零的权重。

优化器比较