5.3.2 迭代法
迭代法是用计算机解决问题的一种基本方法。比如，5.1节中的公式（1），对于一个数据集，我们要求解最佳的a0和a1，使得它的误差最小（比如使用MSE来判断）。那么，迭代法就是利用计算机运算速度快、适合做重复性操作的特点，让计算机尝试一组一组的参数值$^ { ( } \mathrm { a } 0 , \mathrm { a } 1 )$ ，在同一个数据集上重复计算误差。在每次执行一组参数后，就换到一组新的参数(见图5-3）。机器学习算法能够使用这个迭代过程来训练模型。整个迭代一直继续，直到找到一组误差足够小的参数值。
- 确定迭代变量
在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。在上述例子中，a0和a1是两个迭代变量。
- 建立迭代关系式
所谓迭代关系式，是指从变量（如a0）的前一个值推出其下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。
3.对迭代过程进行控制
在什么时候结束迭代过程是编写迭代程序必须考虑的问题。不能让迭代过程无休止地重复执行下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是一个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。在机器学习中，这个结束的条件就是误差(比如MSE)。只要误差达到要求，就可以结束迭代。一般情况下，误差不再有大的变化，我们就可以终止迭代，然后说模型已经是收敛(converged)的了。
人工智能与大数据技术导论
150