奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 282 页

PDF 物理页索引 298 · 第9章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
282
PDF 物理页
298(从 0 开始)
章节
第9章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
2fa3f7735aef3c22c43a9130893d74e318ce705aafd37a622d2cc64edf88742b

$$
\mathcal { \frac { T ^ { n } } { H } } [ \bar { u } ] \bar { \neq } = \frac { T P } { T P + F N } = \frac { 1 } { 1 + 8 } = 0 . 1 1
$$

该模型的召回率是0.11,也就是说,该模型能够正确识别出所有恶性肿瘤的百分比是11%。

比如前面讲的地震预测,没有谁能准确预测地震的发生,但我们能容忍一定程度的误报,假设1000次预测中,有5次预测为发现地震,其中一次真的发生了地震,而其他4次为误报,那么准确率从原来的 $9 9 9 / 1 0 0 0 \times 1 0 0 \% = 9 9 . 9 \%$ 下降到 $9 9 6 / 1 0 0 0 \times 1 0 0 \% { = } 9 9 . 6 \%$ ,但召回率从$0 / 1 \times 1 0 0 \% { = } 0 \%$ 上升为 $1 / 1 \times 1 0 0 \% { = } 1 0 0 \%$ ,这样虽然谎报了几次地震,但真的地震来临时,我们没有错过,这样的分类器才是我们想要的,在一定准确率的前提下,我们要求分类器的召回率尽可能高。

9.4.4 评价指标之综合考虑

要全面评估模型的有效性,必须同时检查精确率和召回率。遗憾的是,精确率和召回率往往是此消彼长的情况。也就是说,提高精确率通常会降低召回率。这是因为,如果我们希望在召回率方面做得更好,那么即使只是听到灌木丛中传出一点点声响,小孩也说“狼来了”。但是,如果我们希望非常精确,那么正确的做法是只在完全确定时才说“狼来了”。前一种做法会降低分类阈值,后一种做法会提高分类阈值。怎么在这两个方面都做好非常重要。这也意味着,每当有人告诉你精确率是多少时,还需要问召回率是多少,然后才能评价模型的优劣。我们再来看几个例子。图9-16显示了电子邮件分类模型做出的30项预测。分类阈值右侧的被归类为“垃圾邮件”,左侧的则被归类为“非垃圾邮件”。我们选择特定的分类阈值后,精确率和召回率值便都可以确定。

根据图9-16所示的结果来计算精确率和召回率,4种情况如图9-17所示。

精确率指的是被标记为垃圾邮件的电子邮件中正确分类的电子邮件所占的百分比,即图中阈值线右侧的绿点所占的百分比:

$$
{ \mathrm { P r e c i s i o n } } = { \frac { T P } { T P + F P } } = { \frac { 8 } { 8 + 2 } } = 0 . 8
$$

人工智能与大数据技术导论

282