那么，机器学习和人类在做同一个任务时到底谁的准确率更高呢？事实上，目前机器学习之所以被广泛应用，正是因为它会表现得比人类更加优秀。理论和实践都证明，机器学习的准确率随着不断训练和改进会逐渐提升直至超过人类水平，但一旦越过人类水平，提升的速度将会显著放缓，直到达到一个“瓶颈”。这一“瓶颈”叫作“贝叶斯最优误差（BayesError）”，是这个任务准确率的理论最优值，无论用任何方式都无法超过这个水平。这个最优值会比人类水平稍高一点点，但通常达不到100%。比如在语音识别领域，由于语音中客观存在一定比率的噪声，所以无论是人类还是机器，都无法准确地听出这部分内容是什么，所以“最优准确率”并不是100%。
5.6.3 改进策略
只要机器学习算法准确率比人类水平低，我们就可以用以下策略来改进。
（1）使用更多人为标注的标签数据。
（2）手动进行误差分析。
(3)进行效果更好的bias-variance分析。
关于第三种策略，我们能够进行更好的bias-variance分析，是因为我们能够通过对比人类误差，决定改进的方向降低偏差还是降低方差。假设在一个识别猫的任务中，人类的误差率是0.5%，我们把这个误差近似看成“贝叶斯最优误差”。我们模型的训练误差是6%，而DevError是8%。训练误差和人类误差之间还有一定距离，说明我们应将重点放在降低误差的策略上，比如使用更高级的神经网络，或者训练更长时间。
假设另有一个难度较高的识别任务，比如识别一种具体的稀有猫科动物，在这项任务中，人类的误差率是5.5%。而假定我们模型的训练误差率仍为6%，DevError也依然为8%。训练误差与人类误差之间的差距仅有0.5%。在这种情况下，降低偏差的提升空间很小，因为我们很难把误差率降到5.5%以下。反而训练误差和DevError之间2%的间隔相对比较大，此时我们应该侧重于降低方差，而不是偏差。也就是说，我们应该尝试更多的防止过拟合的方法，比如采用正则化、使用更多训练数据等。
第5章 模型
159