根据 6.6.5 节中对损失函数的介绍，机器学习的目标就是找到损失函数达到最小值时的参数值，机器学习所谓的“模型训练过程”，就是求其损失函数最小化参数解的过程。数学中对这种最小化求解运算专门定义了一个符号“ argmin<sup>○一</sup>”，表示“使得函数达到最小值时的变量取值”。我们现在引入这个符号，用数学和文字语言互相映照，来推导出监督学习的目标通式：
● 首先，我们选一组样例数据作为训练集，如果集合中样本的个数以 i 来表示的话，那么这个训练集中有 $\left\{ \left( x _ { i } , y _ { i } \right) \right\}$ 个样例。
● 然后，统计损失函数 Loss(y, f(x)) 在所有样本上的损失总和的最小值，即追求 $\sum _ { i } \mathrm { L o s s } ( y _ { i } , f ( x _ { i } ) )$ 最小化。
● 对于训练集中的每一个样例而言，x 和 y 分别是特征和标记，这些 x、y在训练阶段是已知的信息，未知的是函数的系数向量 w（因为多项式有多个系数，所以是系数向量），为了表示决策函数中的未知参数 w 会对结果产生的影响，我们可以将f(x<sub>i</sub>) 改写为 $f ( x _ { i } , \ w )$ 的形式，这样就明确了机器学习训练过程中，所求解的是损失函数达到最小值时系数向量 w的值。
最后，用数学语言来综合上面的文字描述，监督学习的目标可以表述成最小化损失函数，求解系数向量 w 的过程：
$$
\pmb { w } ^ { * } = \mathrm { \ a r g m i n } \sum _ { i } \mathrm { L o s s } ( y _ { i } , f ( x _ { i } , \pmb { w } ) )
$$
到这步已经体现了机器学习的主要目标，但如果仅以此损失函数最小化作为全部目标的话，当它达到最小值时，其结果几乎无可避免地一定会陷入过拟合的“泥潭”之中。因为如果只是把最优的模型衡量标准定义为在训练集上损失函数总和最小的话，那得到的肯定是一个精密复杂但极为脆弱的模型，这个能完全适应所有样本数据的模型在训练集的表现上肯定会优于一个鲁棒性强的简单模型，显然这样的模型并非我们想要的结果。
第 6 章 机器学习概览
213
○一 arg 是变元的意思，即自变量 argument 的英文缩写。argmin 即“求函数达到最小值时的变量值”。