奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 281 页

PDF 物理页索引 297 · 第9章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
281
PDF 物理页
297(从 0 开始)
章节
第9章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
2d8682794dfdf3155d19a49e84ed37f44953dad311a2391f6d335fdba092730e

准确率为0.91,即91%(总共100个样本中有91个预测正确)。这表示肿瘤分类器在识别恶性肿瘤方面表现得非常出色,对吗?实际上,只要我们仔细分析一下正类别和负类别,就可以更好地了解模型的效果。在100个肿瘤样本中,91个为良性(90个TN和1个FP),9个为恶性(1个TP和8个FN)。在91个良性肿瘤中,该模型将90个正确识别为良性。这很好。不过,在9个恶性肿瘤中,该模型仅将1个正确识别为恶性。这是多么可怕的结果!9个恶性肿瘤中有8个未被诊断出来!

虽然91%的准确率可能乍一看还不错,但如果另一个肿瘤分类器模型总是预测良性,那么这个模型使用我们的样本进行预测也会实现相同的准确率(100个中有91个预测正确)。换言之,我们的模型与那些没有预测能力来区分恶性肿瘤和良性肿瘤的模型差不多。

当你使用分类不平衡的数据集(比如正类别标签和负类别标签的数量之间存在明显差异)时,单单准确率一项并不能反映全面情况。所以,我们需要两个能够更好地评估分类不平衡问题的指标:精确率和召回率。

9.4.2 评价指标——精确率

精确率(precision)指标尝试回答以下问题:在被识别为正类别的样本中,确实为正类别的比例是多少?以前面的狼来了例子为例,这个参数的意思是我们是否说“狼来了“太多了。在小男孩说“狼来了”的情况中,有多少次是对的?他说“狼来了”的精确率如何?

精确率的定义如下:

$$
\mathrm { P r e c i s i o n } = { \frac { T P } { T P + F P } }
$$

从上面公式看出,如果模型的预测结果中没有假正例,则模型的精确率为1.0。让我们来计算一下上一部分中用于分析肿瘤的机器学习模型的精确率:

$$
\sharp \sharp \sharp \sharp \sharp = { \frac { T P } { T P + F P } } = { \frac { 1 } { 1 + 1 } } = 0 . 5
$$

该模型的精确率为0.5,也就是说,该模型在预测恶性肿瘤方面的精确率是50%。

9.4.3 指标—召回率

回答问题:在所有正类别样本中,被正确识别为正类别的比例是多少?以前面的“狼来了”为例,这个参数的意思是我们错过了多少“狼来了”。召回率指标则是指在所有试图进入村庄的狼中,我们发现了多少头?从数学上讲,召回率的定义如下:

$$
\mathop { \mathbb { Z } } ^ { } [ \flat ] \mathop { \mathbb { Z } } ^ { } = \frac { T P } { T P + F N }
$$

从上面的公式看出,如果模型的预测结果中没有假负例,则模型的召回率为1.0。让我们计算一下肿瘤分类器的召回率:

第9章TensorFlow 高级知识

281