机器学习中， $\mathrm { L } _ { 2 }$ 范数也有两个别称，有的资料把用它的回归算法称作“岭回归”（Ridge Regression），有的资料叫它“权值衰减”（Weight Decay）。 $\mathrm { L } _ { 2 }$ 范数是用来解决机器学习中过拟合问题的主要手段之一，虽然 $\mathrm { L } _ { 1 }$ 范数也有一定的防止过拟合的作用，但如果以控制过拟合为目的， $\mathrm { L } _ { 2 }$ 范数的效果要比 $\mathrm { L } _ { 1 }$ 范数的效果好，因为 $\mathrm { L } _ { 2 }$ 范数相对于 $\mathrm { L } _ { 1 }$ 范数更平滑，换句话说，它更“温和”一些。在模型预测中， $\mathrm { L } _ { 2 }$ 范数往往比 $\mathrm { L } _ { 1 }$ 范数具有更好的预测特性，当遇到两个对预测有帮助的特征时， $\mathrm { L } _ { 1 }$ 范数倾向于选择一个更大的特征，而 $\mathrm { L } _ { 2 }$ 范数倾向于把两者结合起来。
总之， $\mathrm { L } _ { 1 }$ 范数、 $\mathrm { L } _ { 2 }$ 范数或者其他范数形式的正则化都是通过增加惩罚项，使得结果在偏差与方差之间取得平衡，从而使目标函数最小化来防止过拟合的。正则化是一种典型的、具有通用性的防止过拟合的方法，不过防止过拟合并不只有正则化这一种途径，不同的模型、策略中还有其他可行的办法，譬如神经网络中采用的 Dropout 就是根据神经网络特点设计的一种防止过拟合的技巧。
6.6.9 优化算法
目标函数一旦确定下来，就已经定下了采取何种模型的学习策略了，到这步，剩下的就是把模型中所有涉及的参数计算出来，归结为一个最优化的问题—求使得目标函数达到最小值时的参数数值解。机器学习中的优化算法就是为了求出这些参数数值解的算法。由于实践应用中，绝大多数情况下最优模型都是不存在解析解的，因此只能使用逐步逼近的计算方式来求数值解。同时，由于机器学习总是面对大量的训练样本，因此必须选择恰当的优化算法，才能确保找到全局的最优解，并且使得求解的过程足够高效。
第 6 章 机器学习概览
219