6.7 评估验证
在机器学习领域,模型完成训练之后,还有最后一个必要步骤:对建立的模型进行性能评估(Evaluation),得到该模型的性能指标,只有有了量化的标准,才能更好地衡量我们选择的模型和训练的过程是否正确。而如何评估模型性能,这其实已经不是什么新的知识了,传统统计学中已有成熟的方法可供使用。
6.7.1 性能度量
在之前介绍损失函数的时候,我们已经初步涉及模型性能度量的问题。关于评价一个机器学习模型的性能指标,根据其解决问题的类型,前人已总结出许多指标可供选择。与分类问题相关的指标有“正确率”(它和错误率是同一个指标,即“1- 错误率”)、“精确率”(Precision)、“召回率”(Recall)和“F1 分数”(F1-Measure)等,而与回归问题相关的指标有各种类型的误差指标,如“平均绝对误差”(Mean Absolute Error)、“均方误差”(Mean Squared Error)、“标准差”(Standard Deviation)等,还有分数类型的指标,如“F2 分数”(F2-Measure)、“可释方差分数”(Explained Variance Score)等。
限于篇幅,笔者不一一解释上述指标的概念和用途,依然以实践优先的原则,仅以前文实战里邮件分类过程中遇到的指标作为范例展开讲解,这里首先要说清楚“正确率”“精确率”和“召回率”这三个指标的意义。现在,先假定一个具体场景作为后续讨论的基础:
228
第三部分 第三波高潮