6.1.1 线性回归
线性回归可能是统计和机器学习领域最广为人知的算法之一。通过线性回归找到一组特定的权值，称为系数B。通过最能符合输入变量x到输出变量y关系的等式所代表的线表达出来。线性回归的例子如图6-2所示。
例如， ${ \bf y } = { \bf b } _ { 0 } + { \bf b } _ { 1 } * { \bf x }$ 。我们针对输入的x来预测 $y _ { 0 }$ 线性回归学习算法的目标是找到 ${ \sf b } _ { 0 }$ 和 $\mathsf { b } _ { 1 }$
的值。不同的技巧可以用于线性回归模型，比如线性代数的普通最小二乘法以及梯度下降优化算法。线性回归已经有超过200年的历史，已经被广泛地研究。根据经验，这种算法可以很好地消除相似的数据，以及去除数据中的噪声，是快速且简便的首选算法。
6.1.2 逻辑回归
逻辑回归是另一种从统计领域借鉴而来的机器学习算法。与线性回归相同，逻辑回归的目的是找出每个输入变量对应的参数值。不同的是，预测输出所用的变换是一个被称作logistic函数的非线性函数。logistic函数像一个大S，它将所有值转换为0到1之间的数，如图6-3所示。这很有用，我们可以根据一些规则将logistic函数的输出转换为0或1（比如，当小于0.5时则为1），然后以此进行分类。
正是因为模型学习的这种方式，逻辑回归做出的预测可以被当作输入为0和1两个分类数据的概率值。这在一些需要给出预测合理性的问题中非常有用。就像线性回归，在需要移除与输出变量无关的特征以及相似特征方面，逻辑回归可以表现得很好。在处理二分类问题上，这是一个快速高效的模型。
第6章 机器学习算法
165