为此，在追求损失函数最小化之外，我们的最终目标还要再添加另外一个用于避免过拟合的第二目标，这个第二目标一般是以被称为“正则化项”（Regularizer）或者“罚函项函数”（Penalty Term Function，一般用“ Ω(w)”表示该函数，下文简称罚函数）的额外算子形式来体现的。这个算子的具体函数表达式稍后再谈，现在只把它看作一个抽象的函数符号。将它与损失函数联合相加，训练目标就不仅仅是损失函数最小化，而是追求与罚函数的总和最小，这才构成机器学习建模的完整目标。我们把形成的新函数称为训练模型的“目标函数”（Objective Function），如下所示：
$$
\boldsymbol { w } ^ { * } \operatorname * { a r g m i n } _ { \boldsymbol { w } } \sum _ { i } \operatorname { L o s s } ( \gamma _ { i } , f ( x _ { i } , \boldsymbol { w } ) ) + \mathcal { Q } ( \boldsymbol { w } )
$$
上面这个通式就是所有监督学习算法的通用形式，对于不同的学习算法来说，其差别只是选择的损失函数 Loss(x)、罚函数 Ω(w) 不同。
接下来我们要进一步厘清罚函数 Ω(w) 的表达式形式。“正则化项”或者“罚函数”这样的名词听起来挺抽象的，但只要从它们的作用去理解其含义就不困难了：罚函数存在的意义是为了避免目标函数变得过于复杂，进而导致模型陷入过拟合。前文提到，一个模型是复杂还是简单，取决于其表达式系数的数量和数值大小。由此可知，罚函数的目的是限制系数的数量和数值大小，通俗地讲，罚函数就是一个“参数数量越多、参数值越大，输出结果就越大的函数”。那如何把参数数量和数值大小与函数的计算结果联系起来呢？这就要先解决向量大小度量的问题，请读者先看看以下两个参数向量 $w _ { 1 }$ 、w<sub>2</sub> 到底谁大谁小：
$$
\pmb { w } _ { 1 } = ( 1 , - 4 , 3 , 1 0 , - 9 , 1 1 , 0 )
$$
$$
w _ { 2 } = ( 2 , 3 , - 5 , 7 , - 1 1 , 1 3 )
$$
不容易比较出结果吧？要解决这个问题，数学上已经有了成熟又严谨的办法可以参考。在机器学习领域，也使用了数学里“范数”（Norm）的概念来解决如何度量系数向量大小的问题，这直接关系到采用何种实现方式实现罚函数。
“范数”是一种具有“长度”概念的函数，广泛应用于线性代数、泛函分析等领域，它的作用是度量某个向量空间或矩阵中每个向量的长度或大小。范数必须满足非负性、齐次性和三角不等式，这方面的数学知识读者可以不去深究，只需要把它当作一种用于衡量向量大小的工具，知道我们要用它来度量参数向量即可。
214
第三部分 第三波高潮