$\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数、 $\mathrm { L } _ { 2 }$ 范数、迹范数、Frobenius 范数和核范数等不同类型的范数，都是数学和人工智能领域可能用到的，其中的三个“ $p$ 范数”特例，即 $\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数和 $\mathrm { L } _ { 2 }$ 范数在机器学习领域最为常用，笔者以这三个范数来介绍罚函数的内容。
$\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数和 $\mathrm { L } _ { 2 }$ 范数都是派生自“ $p$ 范数”的特例，为了稍后解释“正则化为什么能做特征选择”这个问题时有必要的知识储备，这里我们从几何意义的角度去了解 $p$ 范数的含义： $p$ 范数的本质也是长度的度量，对于不同 $p$ 取值的 $p$ 范数，其几何含义可理解为描绘该取值下空间中单位球（UnitBall，表示在空间中半径为 1 个单位的球面）的形状。最符合初等数学的直观认知是 $p$ 取值为 2 时的情况，此时在二维平面上单位球是一个圆形，在三维空间上单位球是一个正球体，更高维度也是类似的，单位球都是到原点距离为一个单位的点的全集， $p$ 等于 2 时的距离称为欧氏距离。在p 为其他值时单位球的变化如图 6-23 所示，请读者特别记住 $p$ 取值为 1 和 2 的单位球形状：菱形和圆形。
除了最符合我们日常空间几何概念的 $p = 2$ 表达的欧氏距离之外，还有$p = 0$ 时表达的是汉明距离， $p = 1$ 时表达的是曼哈顿距离等。尽管这些特殊距离都有各自的意义，但是 $p$ 范数的公式是统一而简洁的，如下所示：
$$
\begin{array} { r l } { \| x \| _ { p } } & { { } ( | x _ { 1 } | ^ { p } + | x _ { 2 } | ^ { p } + \dotsb + | x _ { n } | ^ { p } ) ^ { 1 / p } } \end{array}
$$
式中“ || ||”是范数符号。 $\mathrm { L } _ { 0 }$ 范数、 $\mathrm { L } _ { 1 }$ 范数和 $\mathrm { L } _ { 2 }$ 范数就是 $p$ 范数在 $p$ 取值
第 6 章 机器学习概览
215