这里举个直观的例子来帮助大家理解,用射击比赛来类比偏差和方差对结果的影响。假设射击运动员在 10 环靶中只打到了 7 环,产生的 3 环的差距就是期望目标与实际目标的差距,也就是误差,这个误差产生的原因可能是他瞄准的时候没瞄好,本来就是朝着 7 环去打的,也可能是他瞄准的确实是 10 环靶心,但是手不够稳定,打到了 7 环上。这里“瞄不准,手很稳”的情况就相当于偏差大、方差小所构成的误差,而“瞄得准,手不稳”的情况就相当于偏差小、方差大所构成的误差。在这个例子中,偏差和方差对结果的影响,可以通过图 6-20 直观地看出来。
由偏差和方差的含义,我们可以感觉到它们本身是有潜在冲突的。给定一个学习任务,假设我们能够通过不同的训练程度来控制模型的复杂程度,在模型过于简单时,它的拟合能力不够强,训练数据的变化不足以使模型结果产生显著变化,无法通过样本的特征变化得到正确的学习结果,此时偏差主导了期望泛化误差,机器学习中将这种情况称为“欠拟合”(Underfitting),在某些资
208
第三部分 第三波高潮