对以上三种不同的模型的函数表达式，f(x) 表示模型的输出结果， $x _ { 1 }$ 、x<sub>2</sub>表示向模型输入的特征参数，也就是实战中的“邮件长度”和“收件人数量”两个特征。模型训练过程中要求解的内容是找出 $w _ { 0 } ,$ $w _ { 1 }$ , $w _ { 2 } ,$ …这些多项式的系数，它们才是模型中的未知项，也是我们在机器学习过程中要获得的信息。
之前我们已经反复提及“模型复杂度”这个名词，但一直缺少一个严谨精确的定义，所谓“简单”“复杂”都只是定性的描述，我们能由经验得知，上面几个模型中，肯定是规则圆形的模型要比直线的模型复杂，不规则曲线的模型又要比规则圆形的模型复杂，但是究竟“复杂”了多少呢？这个定量的问题以前没有办法解释清楚。现在有了统一用多项式表示的模型决策函数后，就可以借助这种形式来定量比较模型的“复杂程度”了。在把模型进行泰勒多项式展开之后，它的复杂程度由两个因素决定：
● 模型多项式系数数量的多少，系数越少，相应地多项式项数就越少，意味着模型函数图像的曲线形状越简单。
● 模型多项式系数数值的大小，系数数值越小，意味着该多项式项对结果的影响越轻微，模型函数图像的曲线越平滑。
要选择适当的系数数量和数值大小，实质上等同于权衡模型复杂度，也就是在欠拟合和过拟合之间、偏差与方差之间进行权衡。只有恰当地做好权衡，才能令模型既能正确地识别样本，又不至于过度复杂，学习到属于训练集本身的特征。“控制模型复杂度”可以视为机器学习中除了“让模型的输出结果与实际结果差异最小”之外的第二重要的目标。这样，可以对机器学习的目标进行一点小调整，兼顾第二目标，不再仅仅关注损失函数本身的最小化，还要对模型中系数的数量和数值大小投入一定的关注度。接下来，我们将按照这个修正后的目标去训练模型。
212
第三部分 第三波高潮