假如没有罚函数的结果不能大于 C这个约束，损失函数的极小值就是等值线中最小的那一个或者多个点，即图 6-24 中函数图像中间的低谷，但是受限于 ${ } ^ { } \mathcal { Q } ( w ) \leqslant C ^ { \prime \prime }$ 这个约束，损失函数并不能取到最小值，而是必须在符合罚函数约束的范围内找到损失函数能达到最小的那个点。回想一下前面对 $p$ 范数单位球图像的介绍，当 $p = 1$ 时 $p$ 范数的图像，即 $\mathrm { L } _ { 1 }$ 范数的图像在平面中是边长为 C的菱形。显而易见，在多数情况下（极值点在单位球之外），有约束时的极小值会出现在罚函数边缘与损失函数等值线的交点处，而且这个交点就是菱形的一个角。
在角上相交就意味着其中一个参数为零，这就是 $\mathrm { L } _ { 1 }$ 范数稀疏性的来源，而在更高维的情况下，除了角点之外，还有很多边会发生与等值线的第一次相交，产生稀疏性。相比之下， $\mathrm { L } _ { 2 }$ 范数就没有这样的性质，因为 $p = 2$ 时 $p$ 范数的单位球图像是个圆形，如图 6-25 所示。
由于没有菱形的角存在，所以第一次相交的地方出现在具有稀疏性的位置的概率就变得非常小了，这也从几何角度直观地解释了 $\mathrm { L } _ { 1 }$ 正则化能产生稀疏性而 $\mathrm { L } _ { 2 }$ 不能的原因。
L 范数是指向量各元素的平方和然后求平方根，它虽然没有稀疏性，却是一个比 $\mathrm { L } _ { 1 }$ 范数使用频率更高的范数，其应用场景不局限于机器学习，在各种科学领域都能看到它的身影。
218
第三部分 第三波高潮
○一 图片来源：https://www.coursera.org/learn/machine-learning。