误差是所有误差平方的平均值。例如上述两个模型的均方误差分别为：
$$
\begin{array} { r l } & { \mathrm { M S E 1 } = \left( \begin{array} { l } { 1 ^ { \wedge } 2 + 0 ^ { \wedge } 2 + 0 ^ { \wedge } 2 + ( - 1 ) ^ { \wedge } 2 + ( - 3 ) ^ { \wedge } 2 } \end{array} \right) / 5 = 1 1 / 5 } \\ & { \mathrm { M S E 2 } = \left( \begin{array} { l } { ( - 1 ) ^ { \wedge } 2 + ( - 1 ) ^ { \wedge } 2 + 1 ^ { \wedge } 2 + 1 ^ { \wedge } 2 + 0 ^ { \wedge } 2 } \end{array} \right) / 5 = 4 / 5 } \end{array}
$$
均方误差通常简称为MSE，是回归模型中极为重要的概念，它描绘了整个考察的样本集中预测值和实际值的平均偏离程度。在回归任务中，我们希望MSE尽可能的小。MSE越小，说明模型的拟合效果越好。就上述两个模型相比， $y = 2 x$ 的拟合效果更优，也就是说它更接近样本数据的分布规律。
5.3 模型的训练
模型的训练就是参数的求解，即算法。那么，如何确定参数？回到前面的小费的例子：
$$
y = a 0 + a l ^ { \star } x
$$
我们现在已经认定y与x存在上述的线性关系，但我们还不知道a0、a1的值。如何确定它们？这就需要我们的样本集出场。我们想要找到最合适的a0、a1，使得上述公式能最好地拟合样本集数据的特征。这就是所谓的机器学习算法。它就是检查所有的样本数据，从而找到一个模型，这个模型的误差尽可能小。简单来说，通过算法来求解参数。比如，找到一组参数值（a0,a1），使得均方误差最小。模型训练的目标就是找到误差尽可能小的参数。
误差函数是为了评估模型拟合的好坏，通常用误差函数来度量拟合的程度。误差函数极小化意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中，误差函数可以是上述的均方误差。
5.3.1 模型与算法的区别
在前文中，我们对于模型和算法这两个概念的界定是比较模糊的，事实上，模型和算法这两个概念是有区别的。对于线性回归这个例子来说可以这样理解，用来描述问题、定义变量之间关系的公式（1）是模型本身，而用来求解模型中的参数的“最小二乘法”则可以看成是算法。总体来说，模型用来描述要解决的问题，通常为一个或一系列数学表达式；而算法则是解决这个问题的过程，用于求解模型中待定的参数，经常会通过编程来实现。
针对一个模型，可以有多种不同的算法来求解。拿线性回归来说，模型中 $\mathrm { a 0 , a 1 , \hdots , a m }$ 是需要求解的参数，而“最小二乘法”（又称最小平方法，最小化误差的平方)只是其中最经典的一种求解方法，除了“最小二乘法”之外，还可以通过极大似然估计等方法来计算。不同模型会有各自适合的算法，比如求解深度学习模型中的参数会用到著名的梯度下降算法。不同的算法可能会有截然不同的思想，比如极大似然估计是用统计学思想来估计的，而梯度下降法的思路则是利用计算机反复迭代找到最优值。
第5章 模型
149