梯度下降算法只是机器学习中常用的优化算法中的一种，适用于无约束优化的场景，除了梯度下降算法以外，其他常见的优化算法还有前面提到的最小二乘法、牛顿法和拟牛顿法等。从运算角度来看，它们各有优势。最小二乘法是求误差的最小平方和，如果求解目标是线性问题，本质上就是解线性方程组，是有全局最优的解析解的，但是如果样本量很大，就要对一个很大的矩阵求逆，这就很困难或者需要花费很长时间才能求得解析解了，此时反而不如梯度下降算法的快速收敛更有效。梯度下降算法、牛顿法、拟牛顿法都是迭代求解，不过梯度下降算法依赖的是梯度，而牛顿法、拟牛顿法是用二阶的海森矩阵的逆矩阵或伪逆矩阵求解。相对而言，使用牛顿法、拟牛顿法收敛更快，但是每次迭代的时间比梯度下降算法的时间长。
6.6.10 终极算法
利用优化算法求解出模型的参数后，所训练的模型已经产生。至此，机器学习建模过程的所有步骤，从数据采集、预处理、选取特征、确定损失函数、解决欠拟合和过拟合问题，到最后通过优化算法获得模型我们都一一讲解过了，读者是否会有这样一种感觉：虽然说是实战，属于实际操作的内容，但这里每个步骤似乎都有很大的灵活性，或者说有很大的不确定性。笔者几乎在每一个知识点的讲解里，都说过类似“必须根据实际情况去权衡选择”之类的话，这话听起来是合理的，但我们真的只能如此吗？事事都需要有人来参与，“机器学习”这事做起来只见“人工”，一点都不“智能”。
在本章开篇笔者曾提过一个问题：有没有可能存在一种能够遵从的模型算法，一步一步地根据这个步骤做下来，就能一揽子解决所有机器学习问题？根据现在各种学习算法并存的现状，读者自然能推测出目前并不存在能应对所有场景的完美无缺的学习算法。但是，未来是否有可能找到这样的完美算法呢？如果真的有，无论它多么烦琐、复杂，我们都可以把它变为计算机能执行的程序，计算机最擅长的就是解决烦琐却有具体步骤的问题。
226
第三部分 第三波高潮