● 通过本身具备对特征相关性进行评分的能力的模型和策略算法来选择特征。具体做法是：先嵌入某个小规模的机器学习算法和模型进行训练，例如随机森林和逻辑回归算法等都能对样本的特征权值进行打分，得到各个特征的权值系数，根据系数从大到小选择特征。
● 通过 $\mathrm { L } _ { 1 }$ 正则项来选择特征。 $\mathrm { L } _ { 1 }$ 正则方法本身具有稀疏解的特性，因此天然具备特征选择的能力，但应注意，没有被 $\mathrm { L } _ { 1 }$ 选择的特征不代表不重要，原因可能是两个具有高相关性的特征只需保留一个。这里没有数学基础的读者可能会疑惑 “ $\mathrm { L } _ { 1 }$ 正则项”是什么东西，稍后我们讲正则化的时候会重点提到它。
……
数据降维严格来说并不是机器学习中的问题，而是属于数学的范畴，在数学上已经有很多成熟的自动降维算法了，如“奇异值分解”（Singular ValueDecomposition，SVD）、“主成分分析”（Principal Component Analysis，PCA）等。这类算法能够把数据中相似性高的、信息含量少的特征给自动剔除掉，也能够实现数据降维，不过实际中要解决问题，往往必须考虑具体模型的目标和这个领域中的先验知识，这时候采用自动降维算法和人工筛选特征相互配合的方案才是比较合适的。
本次实战我们还会借助 $\mathrm { L } _ { 1 }$ 正则项来自动选择特征，对于抱着科普目的来阅读本书的读者来说，本节出现的一系列数学和数据科学的专业名词可能会带来一些阅读障碍。而且 $\mathrm { L } _ { 1 }$ 正则项的原理介绍要以模型与现实的拟合程度为基础，不经过建模阶段，没有讲清楚欠拟合、过拟合这些问题，就更会陷入用一系列普通读者不理解的专业名词去解释另外一个专业名词的困境之中。为了使实战顺利进行，不妨先假设我们已经知道了决定一封邮件是否属于垃圾邮件的最关键特征，即表 6-1 中的收件人数量、邮件长度等特征。本节先把建模这个阶段讲完，下一节再回过头来说说如何借助 $\mathrm { L } _ { 1 }$ 正则项挑选出这些特征。
194
第三部分 第三波高潮