在机器学习里，欠拟合是相对容易处理的，通过增加样本、增加训练次数一般就可以解决，但是对过拟合的控制就相对困难了。这里采用的偏差和方差之间的关系去解释拟合程度只是一种直观的理解方式，在机器学习中有专门的“可近似正确学习理论”（Probably Approximate Correct Learnability）、“贝叶斯先验解释”（Bayes Prior Probability）等方式来解释或者理解模型拟合程度对最终效果的影响，尽管思路方法不一样，但是结果往往殊途同归，笔者这里就不再一一展开了。
6.6.8 正则化
偏差和方差的含义告诉我们，模型复杂度是高还是低，哪个性能更好并不能一概而论，这是一个需要权衡的问题。我们在选择模型复杂度时，常采用“奥卡姆剃刀法则”（Occam’s Razor，拉丁文为“lex parsimoniae”，含义为“简约法则”）<sup>○一</sup>作为指导决策的行之有效的经验法则。通俗地说，这个法则在机器学习领域中的含义是：“如果有两个模型可以产生相同性能的预测结果，那选择较简单的那个会更好。”
“奥卡姆剃刀法则”可以作为一条指导性的经验原则使用，但是有没有更具体的可以一步一步量化来确定模型复杂度的方法呢？答案是有。为了讲解如何找到合适的模型复杂度，笔者重新调整了电子邮件训练集的统计特征，令其更趋近于现实情况，现实中是不可能简单地采用线性分类器就把垃圾邮件和非垃圾邮件完美地区分开的。
调整后的数据分布如图 6-22 所示。笔者还额外给出了三种不同复杂度的可供选择的模型，再请读者思考一下：在这样的数据分布下，采用哪一种模型最合理呢？
210
第三部分 第三波高潮
○一 奥卡姆剃刀法则”由 14 世纪逻辑学家、圣方济各会修士奥卡姆的威廉（William ofOccam，约 1285—1349）提出。这个法则的思想为“如无必要，勿增实体”，即“简单即有效”。