6.6.3 集成算法之 Boosting
6.6.2小节讲解了Bagging及其代表算法随机森林。本节我们来介绍集成算法的另一大思想：Boosting。前文提到，Boosting和Bagging最大的区别是Boosting的一轮轮训练是依次进行的，而不是像Bagging一样是相互独立的。其核心过程可以用图6-28来描述。
Boosting的核心策略是一步步修正模型，使之逐渐逼近真实的映射关系。每一个弱分类器是建立在前一个的基础上进行的，受到前一个分类器效果的反馈加以改进，使得当前的分类器比前一轮做得更好。Boosting的代表算法有Adaboost、GBDT和Xgboost。后两者和RandomForest是机器学习竞赛中效果最出色的模型，在工业界中也极其受欢迎。
Adaboost
Adaboost主要用于分类，其核心思路是在每一个弱分类器之后对预测值和真实值进行比较，然后将分类错误的样本点在下一个分类器中赋予更高的权重，使得在下一次训练中不容易再被分错。其算法如下：
人工智能与大数据技术导论
End
184