我们之前所说的“差距多少”或者“适应能力高低”，是指模型输出值与实际值之间的“误差”（Error）的大小，“误差”是一个在统计学中被精确定义的概念，它在机器学习这个语境中更加强调对训练集外而不是训练集中数据的泛化能力，实际是“期望泛化误差”的简称。误差通常有三个来源，即偏差、方差和噪声，先不去管这三个名词各是什么意思，我们知道误差就是这三者的总和即可。误差可以使用以下公式来表达：
$$
{ \frac { \varkappa } { \varkappa } } { \frac { \varkappa } { \Xi } } \left( \mathrm { E r r o r } \right) = \left. { \frac { \varkappa } { \varkappa \Psi } } { \frac { \varkappa } { \Xi z } } \left( \mathrm { B i a s } \right) + \mathcal { \breve { H } } { \frac { \varkappa } { \Xi z } } \left( \mathrm { V a r i a n c e } \right) + { \frac { \mathfrak { H } } { \sqrt { \pi } } } { \frac { \varkappa } { \bar { \jmath } ^ { \sharp } } } \left( \mathrm { N o i s e } \right) \right.
$$
这个公式可以用通俗的语言来解读：误差的存在，就意味着模型输出值与实际值不相同，原因可能是模型无法表示实际数据的复杂度而造成“偏差”（Bias）过大，也可能是模型对训练它所用的有限的数据过度敏感而造成“方差”（Variance）过大，还可能是训练集中存在部分样例数据的标记值与真实结果有差别（即训练数据自身的错误），产生的“噪声”（Noise）过多。要降低误差，获得更好的性能，就要降低这三个误差的来源因素。
一般而言，噪声不可避免，如何找出并消除噪声数据在实际应用中很重要。误差体现了该学习问题本身的实现难度，而噪声是学习问题本身和样本数据来源受限造成的，无法人为控制。在给定了训练集的数据之后，我们只能从偏差和方差的角度来尽可能地减少误差。因此，在这个实战中，我们始终把噪声因素排除出去，假设样本数据完全符合真实结果的分布规律，而仅仅关注偏差和方差对误差的影响，接下来将分别解释偏差和方差的含义。
偏差是指根据训练集数据拟合出来的模型输出结果与样本真实标记的差距，通俗地说，偏差反映了模型在训练集上拟合得好不好，它的本质就是描述模型本身在训练集上的拟合能力。模型越复杂，引入的参数越多，偏差越小。单就偏差而言，图 6-19 右边的非线性划分的模型的偏差肯定比左边线性划分的模型的偏差要小。但是为什么我们还认为左边模型性能更好的概率较大呢？因为我们还必须要考虑方差这个因素。
方差是指给出同样数量但内容发生了变动后的样本数据所导致的模型性能变化。方差的本质是描述数据扰动对模型输出结果所造成的影响。如果我们想获得较小的方差，那就应该简化模型，缩减模型参数，降低模型的复杂度，这样才能够控制因样本数据变化而带来的扰动幅度，越精密复杂的模型，对输入数据的抗扰动能力就越差。
第 6 章 机器学习概览
207