结果如图10-25、图10-26所示。
下面我们尝试其他优化器，使用AdaGrad和Adam优化器并对比其效果。AdaGrad的核心是灵活地修改模型中每个系数的学习率。该优化器对于凸优化问题非常有效，但不一定适合非凸优化问题的神经网络训练。通过指定AdagradOptimizer（而不是GradientDescentOptimizer）来使用AdaGrad。对于AdaGrad，可能需要使用较大的学习率。
对于非凸优化问题，Adam有时比AdaGrad更有效。要使用Adam，可调用tf.train.AdamOptimizer方法。此方法将几个可选超参数作为参数，但解决方案仅指定其中一个(learning\_rate）。在应用设置中，我们应该谨慎指定和调整可选超参数。
第10章 神经网络
333