分别为 0、1、2 时的特例情况，替换后得出以下三种范数公式：
从公式上看， $\mathrm { L } _ { 1 }$ 范数是向量中各个元素的绝对值之和， $\mathrm { L } _ { 2 }$ 范数是向量中所有元素的平方之和再开方。把 $\mathrm { L } _ { 0 }$ 范数的公式写出来，会发现由于p 出现在分母上，零值是无意义的<sup>○一</sup>，而 $\mathrm { L } _ { 0 }$ 范数的真实含义是向量中非零元素的数量之和。
根据 $\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数和 $\mathrm { L } _ { 2 }$ 范数的公式，无论是非零计数、绝对值还是开平方，每一个参与公式计算的参数，无论其数值大小、正负都只会对计算结果产生非负的贡献，只是影响程度不同，所以这三个公式都符合“参数数量越多、参数值越大，输出结果就越大”这个特征，我们只要令罚函数${ } ^ { \ast } \thinspace \mathcal { Q } ( \pmb { w } ) = | | \pmb { w } | | _ { 0 } ^ { \phantom { \dagger } \prime \dagger } \ { } ^ { \mathcal { Q } } ( \pmb { w } ) = | | \pmb { w } | | _ { 1 } ^ { \phantom { \dagger } \prime \dagger }$ 或者 $\mathbf { \nabla } ^ { \ast } \mathcal { Q } ( \pmb { w } ) = | | \pmb { w } | | _ { 2 } ^ { \mathbf { \nabla } _ { | | } \mathbf { \nabla } _ { 2 } \mathbf { \xi } }$ ”，即可达到限制模型复杂度过高的目的。
不过，既然 $\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数、 $\mathrm { L } _ { 2 }$ 范数以及其他形式的范数是共存的，那说明它们在某些地方有自己的特长，这才有共存的意义，也从侧面说明罚函数使用不同的范数来实现，效果一定是有所差别的。下面我们就继续来看看这三个范数的使用场景和含义。
$\mathrm { L } _ { 1 }$ 范数的作用是“参数稀疏化”，由于这个特性， $\mathrm { L } _ { 1 }$ 范数还有个别名叫作“稀疏正则算子”（Lasso Regularization）。首先我们来解释什么叫“参数稀疏化”，数学上说一个向量“稀疏”是指它所包含的零元素的数量很多。 $\mathrm { L } _ { 0 }$ 范数的意义是计算非零参数的个数，所以它的稀疏性是最直接的，把 $\mathrm { L } _ { 0 }$ 范数作为目标函数的一部分，在最小化目标函数的过程中，其目标就自然带有尽可能获得零参数的倾向，但是由于最小化 $\mathrm { L } _ { 0 }$ 范数已被证明是一个 NP 完全问题，要付出极高的代价才有可能优化好，所以实践中并不适用。如果特别注重模型参数数量的话，可以用 $\mathrm { L } _ { 1 }$ 范数代替 $\mathrm { L } _ { 0 }$ 范数来实现稀疏化。 $\mathrm { L } _ { 0 }$ 范数的稀疏性从它的定义公式中就可以明显看出来，至于 $\mathrm { L } _ { 1 }$ 范数为什么也会有稀疏性，我们会在讲解完稀疏特性的意义之后，从几何意义的角度给出解释。
216
第三部分 第三波高潮
○一 严格来讲，p 在（0, 1）取值范围内定义的并不是范数，因为这违反了三角不等式（||x +y|| ≤ ||x|| + ||y||），因此 L<sub>0</sub> 范数不是真正的范数。