courtesv to Alexander thier hmo //sl ics uci edu/Classes/2012F-273a?action-dowmioad&uoname-10-ensembles. odf
AdaBoost 是第一种成功地针对二分类的Boosting算法，是理解Boosting最好的起点。现代的Boosting方法是建立在AdaBoost之上的，多数都是随机梯度Boosting机器。如图6-11所示是 AdaBoost的例子。
AdaBoost与短决策树一起使用。当第一棵树创建之后，每个训练样本的树的性能将用于决定针对这个训练样本下一棵树将给予多少关注。难于预测的训练数据给予较大的权值，反之容易预测的样本给予较小的权值。模型按顺序建立，每个训练样本权值的更新都会影响下一棵树的学习效果。完成决策树的建立之后，进行对新数据的预测，训练数据的精确性决定了每棵树的性能。因为重点关注修正算法的错误，所以移除数据中的离群值非常重要。
6.2 支持向量机算法
本节我们以著名的SVM算法切入，来感受一下一个成熟完备的机器学习算法是怎么运作的。SVM是机器学习最经典也是最实用的模型之一。这个算法从字面上不易理解，但没关系，学习新的算法时，我们最重要的是先理解这个算法的思想是什么。SVM的思想是找到一个“分割器”，将两种类别的样本点“切开”。
我们的核心目标是找到一条直线去分割平面上的两种点。这里首先介绍线性可分这个概念。像图6-12这样，可以用一条直线将两种类别的点分开的情形称为线性可分。而像图6-13这样的情形则为线性不可分。
我们先来看线性可分的情况。对于二维空间（平面）中线性可分的情形，我们只需找到一条直线，使得正值样本落在直线的一侧，负值样本落在直线的另一侧。对于线性可分的样本集来说，这样的直线是存在的，而且是不唯一的。比如图6-14中y=-x+2和y=-x+2.1都是满足条件的直线。
第6章 机器学习算法
171