料中也称为“高偏差”（High Bias）。
随着训练程度慢慢加深，模型变得越来越复杂，参数也越来越多，它对训练集的拟合能力逐渐加强，训练数据发生扰动时就渐渐能被模型学习到了，这时方差在期望泛化误差中的占比逐渐加大，偏差的占比逐渐变小。
当训练程度刚好充足时，模型的拟合能力就处于在训练集数据支撑下可达到的最佳状态了，如果这时再进一步训练，继续把模型复杂化，那方差就会继续增大，逐步主导期望泛化误差，训练数据发生轻微扰动也会导致模型的输出结果发生显著的变化，这样，那些属于训练数据自身的并非所有数据共有的特性也都被模型学到，这时就会发生“过拟合”（Overfitting）现象，在某些资料中也称为“高方差”（High Variance）。由此可见，选择最优模型复杂度的一个最基本原则就是偏差和方差之和最小，即要同时避免发生因训练过少导致模型复杂度过低而欠拟合和因训练过度导致模型复杂度太高而过拟合的情况，此原则中的最优模型复杂度可以通过图 6-21 来体现。
理解了误差、偏差和方差的定义，我们就可以使用期望泛化误差来理解为什么本节开头会说“一般情况下，左边简单模型的性能会更好”了，从有限的训练样本（本实战中训练集只有 110 封邮件）来看，虽然非线性模型在训练集上做到了零偏差，但这种规模的训练集是无法支撑像图 6-19 右边那种复杂的非线性模型的。图 6-21 中最优模型复杂度与误差的关系也可以解释这个判断，图 6-19 右边复杂的非线性模型在实际情况中很可能处于图 6-21 中最右侧的位置，而左边的线性模型更可能处于图 6-21 的中间部分，更可能接近于最优的模型复杂度，而图 6-19 右边的复杂模型很可能已经发生过拟合现象了。
第 6 章 机器学习概览
209