为什么不能让样本的所有属性参与模型建造呢？如果实际情况与我们的实战案例一样理想化，只有三五个特征的话，那不做特征选择也是可行的。但是，现实中收集到的数据通常有几十个乃至更多的特征项，此时特征选择就是必不可少的。如果一个模型需要用到几十个特征作为参数，就意味着只有使用数十亿乃至更大规模的样本才有可能训练出理想的结果，这个比例听起来非常惊人，可只要按最简单的情况测算一下便可得出类似的结论：假如样本有 30个特征项，相当于样本空间中同时有 30 条坐标轴，即使每个特征项都是最简单的布尔类型（只有 true 和 false 两种取值），样本空间中不同的向量也有 2<sup>30</sup>种可能性，这已经超过 10 亿个取值了，我们需要多少训练数据才能在这样的样本空间中描绘出样本的分布特点呢？
从更一般的角度来看，模型的输入每增加一个特征，便给模型的决策函数引入了一个新的参数项，这会让决策函数所处的问题空间相应地提升一个维度，在训练集数据量相同的情况下，空间的维度越多，数据就越稀疏，空间的维度提升太快，可用数据就变得过于稀疏，而过于稀疏的数据会使其从大多数角度看都看不出相似性，因而平常使用的数据组织策略就变得极其低效，这个现象在机器学习中被称为“维度灾难”（Curse of Dimensionality）。
如果读者想象不出来维度升高导致数据变得稀疏的过程，不妨看看图 6-8，它反映了当样本空间从一维提升到三维，每种特征的训练数据均覆盖特征取值可能性的 50% 时，训练用的测试数据占整个样本空间的比重的变化情况。结论显而易见，比重会迅速下降，这就是维度灾难令训练数据变得稀疏的形象解释。
192
第三部分 第三波高潮