从样例分布图中可以看出,只有收件人数量为 1 的邮件是完全不包含垃圾邮件的,如果我们以“收件人是否多于 1 人”来划分是否垃圾邮件的话,很快就能构造出一个最简单的垃圾邮件判别模型,形式如下:
$$
f ( x ) = { \binom { 0 , x > 1 } { 1 , x \leqslant 1 } }
$$
这个模型在训练集上的判别结果将如图 6-10 所示。
显然,即使凭肉眼观察,读者也可以知道这个结果并不是最优的,因为它虽然正确区分出了一部分垃圾邮件和非垃圾邮件,但是同时存在非常大量的误判,在 110 封邮件中足足有 40 封邮件被模型误判了。
我们只要稍微调整一下判定标准中收件人的数量,以“收件人是否多于 2人”来划分垃圾邮件的话,效果就有所改善,虽然还是有一部分垃圾邮件成为“漏网之鱼”,被认定为非垃圾邮件,但是这时在 110 封邮件样例中只有 20 封邮件被误判,如图 6-11 所示。
由收件人数量从 1 到 2 的简单调整所带来的结果变化可知,根据模型的工作效果来决定选取哪些特征、什么特征值作为标准才是合适的。对于如何衡量机器学习模型的工作效果这个问题,我们最容易想到的指标是正确分辨或者错判的样本数占样本总数的比例,即“正确率”(Accuracy)或“错误率”(ErrorRate,其含义为“1- 正确率”)。实际上,正确率确实是一个比较常用的度量指标,但具体采用什么度量标准还是要取决于具体的任务需求,有一些情况会选择其他指标,譬如精确率、召回率、F1 分数等作为评估性能的度量标准,这部分内容将在 6.7 节中再展开说明。
196
第三部分 第三波高潮