9.2 L2 正则化
正则化在机器学习领域很重要，主要是针对模型过拟合问题而提出来的。在前面的章节中，我们一直在探讨如何让训练误差降至最低。对于正则化，简单来说，就是不要过于信赖训练样本。如图9-9所示，从过拟合曲线可以看出：随着进行越来越多次迭代，训练误差会减少，越来越少，并一直减少。
训练数据（TrainingData）曲线会不断下降，最终它会在某种程度上收敛于底端。但实际上验证数据（ValidationData）曲线开始上升。验证数据是我们真正要关注的。尽管我们在对训练样本进行训练，但想要泛化到新的样本，也就是测试样本。我们希望将样本的损失控制在较低的范围。那么如何抑制验证数据曲线上升呢？这表示什么情况呢？首先说明出现了过拟合。我们在处理训练数据样本方面做得很好，开始在某种程度上过拟合训练数据样本的一些独
人工智能与大数据技术导论
274