假设测试集中包含有效邮件 8000 封,垃圾邮件 2000 封,共计10000 封邮件。我们的目标是找出所有的垃圾邮件。现在使用某个模型从中挑选出 5000 封垃圾邮件,经核实,模型挑选的垃圾邮件中有2000 封确实是垃圾邮件,但还错误地把 3000 封有效邮件也当作垃圾邮件挑选出来了。
作为评估者,我们采用不同的指标来评估一下该模型的性能。首先我们知道垃圾邮件的识别模型是一个典型的 0-1 分类器,它的输出结果可能有以下四种:
1)将垃圾邮件识别为垃圾邮件,这种 0-1 分类器将正面结果识别为真的称为“真正”(True Positive,TP)。
2)将垃圾邮件识别为有效邮件,这种 0-1 分类器将正面结果识别为假的称为“假正”(False Positive,FP)。
3)将有效邮件识别为垃圾邮件,这种 0-1 分类器将负面结果识别为假的称为“假反”(False Negative,FN)。
4)将有效邮件识别为有效邮件,这种 0-1 分类器将负面结果识别为真的称为“真反”(True Negative,TN)。
这四种结果所包含的预测值和实际值的关系,可以通过图 6-32 直观地反映出来。
第 6 章 机器学习概览
229