为了获得在统计学上正确且稳定的结果，用来支撑这一结果的数据量通常要随着维度数的增加而呈指数级增长。单纯从算法角度而言，如果通过穷举的方式，增加特征带来的算法时间复杂度的增长也是指数级的。因此，特征选择一方面涉及可行性问题，我们通常没有足够多的训练数据支持那么多的特征；另一方面涉及执行效率的问题，哪怕我们有足够的数据，但是其中许多特征对结果的影响是微乎其微的，甚至是根本没有意义的，如果不对数据进行筛选，也会平白浪费许多训练时间，徒增模型计算的复杂度。
特征选择是“数据降维”（Dimension Reduction）的一种主要方法，另外一个主要的降维方法被称为“特征提取”（Feature Extraction），它与特征选择的区别是：特征提取是在原有特征的基础上创造出一些新的特征，如果创建了一个新的特征项，该特征的变化规律能够反映原来几个特征项的共同变化，那使用这个新特征项代替原来的几个特征项就实现了降维的目的；而特征选择只是在原有特征中选取最有用的特征，一般不会对特征值进行变换。
那应该以什么准则或方法去挑选“有用的特征”，即对结果有主要影响的关键特征呢？尽管科学不希望问题只能依靠人工来解决，但是自动降维算法依然无法取代人类经验甚至直觉在特征选择中的作用。如前文所言，机器学习目前仍无法脱离人类的先验知识、灵光一现的顿悟甚至运气因素，这也是“数据科学家”这类职业在近年来受重视的原因。通常来说，数据科学家至少会从两个大方向上考虑如何选择特征：
1）特征的离散度：如果一个特征不发散，譬如方差趋于 0，也就是各个样本在这个特征上基本没有差异，则这个特征对于样本的区分就没有什么意义。
2）特征与目标的相关性：与目标相关性高的特征，更能作为分类决策的依据，应当优先选择，这里的关键是如何判断出特征与目标的相关性。
从这两个维度出发，可以总结出几种常用的人工特征选择方法：
● 按照发散性或者相关性对各个特征进行评分，设定阈值来选择特征。这种方法在第 3 章介绍决策树的时候提过，信息熵、基尼不纯度都可以作为特征的选择依据。
● 通过试错来选择特征。具体做法是：每次选择若干特征，或者每次排除 若干特征，然后根据模型的性能进行评分，多次选择后留下能使模型性 能达到最优的特征。
第 6 章 机器学习概览
193