生活中类似的决策过程有很多，常见的如去医院看病，医生也是根据不同的检查数据，将病人的症状与疾病对应起来形成诊断结果，哪些症状可能由哪些疾病引发，是靠以前的病例总结归纳而来的。决策树学习算法的核心是从训练集中自动归纳出一组分类规则，使得这组规则不仅能适应已知的训练样本，对于与样本同分布的未知新数据也有一致的泛化性能。说白了，就是让计算机通过若干训练数据，自动构建出一棵分类规则最合理的决策树。
对于如何从训练数据自动归纳出规则，即构建决策树的过程，目前已总结出一些成熟可行的算法，如 ID3 算法、C4.5/C5.0 算法、CART 算法、CHAID算法等，这些算法层面的内容对于本章来说过于具体了，等后面介绍机器学习时再讲，读者也可以很容易地在网上和教科书上找到这些经典算法的讲解，这里仅介绍一下这些算法构建决策树的共同思路。
无论是 ID3、C4.5，还是其他决策树的构建算法，都有一个总的原则，即在每一步选择一个最好的属性来分裂树。此处“最好”的定义是：针对这个属性分裂出分支后，会使得各个分支节点中的训练集拥有尽可能高的纯度。
第 3 章 符号主义学派
99