稀疏性在机器学习中是很令人趋之若鹜的特性，它天然地解决了机器学习中的一对大难题：“自动特征选择”（Auto Feature Selection）和模型的“可解释性”（Interpretability）。前面我们遗留了“如何自动做特征选择”这个问题没有回答。特征选择之所以重要，是因为一般来说样本的大部分特征都和最终的输出没有什么关系，不对结果提供任何信息或者只提供极少量的信息。如果在最小化目标函数的时候考虑了这些额外的特征，虽然可以获得更小的训练偏差，但在预测新的样本时，这些无用的信息反而会干扰对结果的正确评价。稀疏规则化算子能天然地将模型中对结果影响小的参数权值置为零，这样就去掉了这些没有提供信息的特征，自动完成了特征选择。另一个青睐稀疏的理由是，将无关的特征置零后得到的简单模型更容易解释。这一点也很容易理解，譬如，假设要统计患某种疾病的概率，且我们收集到的数据样本有 1000 个特征，换句话说，我们需要寻找这 1000 个特征到底是怎样影响病人患上这种疾病的。如果通过 $\mathrm { L } _ { 1 }$ 范数正则化之后，最后学习到的模型只有很少的非零元素，譬如只有 5 个非零的系数，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，是决定性的。也就是说，患不患这种病基本只和这五个因素有关，那医生就好分析多了。但如果 1000 个参数都不为零，医生面对这 1000 个致病因素是无法通过模型来寻找和解释致病原因的。
$\mathrm { L } _ { 0 }$ 范数的定义本来就是零值越多，函数值便越小，它参与到目标函数之后，模型有稀疏性是很好理解的。而关于 $\mathrm { L } _ { 1 }$ 范数稀疏性的来源，我们就需要专门从几何角度去解释为什么它会具有这样的特性。
我们把前面的目标函数稍微改写一下，不直接加入罚函数，而是把“计算损失函数和罚函数总和极小值的最优解作为优化目标”，改写为“在罚函数不超过单位常量值 C的前提下求损失函数极小值的最优解作为优化目标”，即把损失函数和罚函数独立约束，形成如下形式：
$$
w ^ { * } \operatorname * { a r g m i n } _ { \boldsymbol { w } } \sum _ { i } \operatorname { L o s s } ( y _ { i } , f ( x _ { i } , \boldsymbol { w } ) ) , \mathcal { L } \boldsymbol { \mathcal { Y } } \dot { \mathcal { K } } : \mathcal { Q } ( \boldsymbol { w } ) \leqslant C
$$
以只有两个参数的简单情况为例，图 6-24 中的曲线是损失函数优化过程中的等值线，读者可将这里的“等值线”想象为地图中的“等高线”，这种等值线是把函数值相等的损失函数对应的参数 $\ w _ { 1 } , \ w _ { 2 }$ 组成的点连接起来，越接近中心线代表函数值越小，越接近外延线代表函数值越大。
第 6 章 机器学习概览
217