结果如图9-35、图9-36所示。
9.5 L1正则化
我们再来研究一下特征交叉组合（FeatureCross）。特征交叉组合很有用，但也可能会带来一些问题，尤其是将稀疏特征交叉组合起来的时候。稀疏矢量通常包含许多维度，创建特征交叉组合会导致包含更多维度。由于使用此类高维度特征矢量，因此模型可能会非常庞大，并且需要大量的RAM。在高维度稀疏矢量中，最好尽可能使权重正好降至0。正好为0的权重基本上会使相应特征从模型中移除。将特征权重设为0可节省RAM空间，且可以减少模型中的噪点。例如，以一个涵盖全世界（不只是涵盖加州）的住房数据集为例。如果按分（每度为60分）对全球纬度进行分桶，则在一次稀疏编码过程中会产生大约1万个维度；如果按分对全球经度进行分桶，则在一次稀疏编码过程中会产生大约2万个维度。这两种特征的特征交叉组合会产生大约2亿个维度。这2亿个维度中，很多维度代表非常有限的居住区域（例如海洋里），很难使用这些数据进行有效泛化。如果为这些不需要的维度浪费RAM，就太不值得了。因此，最好使无意义维度的权重正好降至0。
人工智能与大数据技术导论
298