5.4 梯度下降法
在5.3.2节的迭代法中，针对图5-3中的“更改模型参数值”，我们并没有说明下一组新参数值怎么出来。假定我们有足够的时间来遍历各个a1的可能值，那么对于线性回归函数来说，误差和a1值之间的关系如图5-4所示。
误差的最小值就是误差函数收敛的位置。如果我们尝试每个a1值去找到这个收敛点，效率就低了。在机器学习中，有一个更好的方法，那就是梯度下降法（GradientDescent)。
如图5-5所示，在梯度下降法中，首先选择一个a1的起点值。这个起点值可以是0，也可以是一个随机数，这些都没关系，我们的目的是求误差的最小值。下面来看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的方向向下走一步，然后继续求解当前位置的梯度，从这一步所在的位置沿着最陡峭最易下山的方向走一步。这样一步步地走下去，一直走到山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。从上面的解释可以看出，梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果误差函数是凸（convex）函数，梯度下降法得到的解就一定是全局最优解，因为最小值的地方就是梯度为0的地方。
第5章 模型
151