5.5 模型的拟合效果
通过学习本节内容，我们将了解欠拟合和过拟合及其严重性，认识形成过拟合的原因，以及如何解决过拟合。
5.5.1 欠拟合与过拟合
在如图5-8所示的分类问题中，我们的目标是找到一个分类器，分割两种标签的数据。我们用肉眼不难看出，蓝色标签（圆圈）的点集中在图的右上区域，中间的图是最为合适的分类器。左图用一条直线分割平面，模型过于简单，对直线右侧的红色标签数据（叉叉）刻画较差，属于欠拟合（underfit）；而右图则用了比较复杂的模型，对样本集的数据全部照顾，属于过拟合(overfit）。过拟合是参数过多，对训练集的匹配度太高、太准确，以至于在后面的预测过程中可能会导致预测值非常偏离合适的值，预测非常不准确。中间的图是合适的拟合。
欠拟合和过拟合都是应当尽可能避免的。欠拟合会让我们的模型产生较大的偏差(bias)，这里的偏差是指我们的模型描绘的数据分布与数据的客观分布之间存在差异。欠拟合通常是因为我们使用了过于简单的模型，比如线性模型，或者训练的时间不够。而过拟合虽然将样本集的误差降到最低，但会使模型产生很大的方差（variance），方差大意味着当新的数据进来时，模型的预测准确率波动会比较大，虽然训练集预测能力很好，但对未知的测试集预测效果可能会很差。过拟合通常是因为我们的模型过于复杂。
事实上，在实际应用中，过拟合的问题远远多于欠拟合。在解决问题时，我们几乎总是要考虑和处理过拟合，但很少会遇到欠拟合。这是因为我们在训练模型时经常会采用过于复杂的模型，使用了太多的特征（features）来训练，对训练集的匹配度非常高（误差几乎为零），但是不能推广到其他未知数据上，也就是对于训练集之外的输入不能做出正确的预测。
第5章 模型
155