我们将图 6-12 中的一个局部区域放大，如图 6-13 所示，实际样本值与模型输出值之间的空间差距以平行于纵坐标轴的线段表示。
这种以y 与 $y ^ { \prime }$ 的欧氏距离来度量误差的标准，在统计学里被称为“均方误差”（Mean Squared Error，MSE）。对于以均方误差最小化作为目标的损失函数，我们称为“平方损失函数”（Squared Loss Function）。两个名词中都带有“ Squared”这个单词，体现了欧氏空间里欧氏距离的数学公式就是两个向量差值的平方，所以，平方损失函数的表达式如下所示：
$$
\operatorname { L o s s } ( y , y ^ { \prime } ) = ( y - f ( x ) ) ^ { 2 }
$$
解决以平方损失函数作为损失函数的机器学习问题，也就等同于求解一条距离所有样本点的欧氏距离最短的线。如果选择的是线性模型，即例子中的直线，或者更高维的超平面，在数学上都可以采用“最小二乘法”（LeastSquares Method）来解决平方损失函数的最小化求解问题<sup>○一</sup>。所谓“二乘法”就是中国古代算平方的说法，“最小二乘法”其实就是求解平方最小值的意思。如果所选择的模型并不是线性的，如曲线或者超曲面，那么模型就不会有解析解<sup>○一</sup>，需要用优化算法逐步逼近去求解模型。
第 6 章 机器学习概览
199
○一 关于详细的数学证明，笔者在此就不罗列了，读者可以参考 https://zh.wikipedia.org/wiki/ 最小二乘法。