奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 158 页

PDF 物理页索引 174 · 第5章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
158
PDF 物理页
174(从 0 开始)
章节
第5章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
57e8517c47dba3f0dcb2ef32623e1a3eebd33d9744ead5ba3030ed4640f512b2

入表5-5的原因。

精确率(Precision)的定义是所有我们预测为正的样本中确实为正值的比率。

$$
\frac { 1 } { 1 } \overrightarrow { A } _ { \vert A \vert } \overrightarrow { A } _ { \vert A } ^ { \vert } = \mathrm { T P / ( T P + F P ) }
$$

召回率(Recall)是指所有真实值为正的样本中被我们预测为正值的比率。

$$
\stackrel { \triangledown } { \scriptscriptstyle \perp } \left[ \boldsymbol { \mathrm { H } } \right] \stackrel { \scriptscriptstyle - 2 \vec { \alpha } } { \scriptscriptstyle + \cdot } = \mathrm { T P } / ( \mathrm { T P + F N } )
$$

F1-Score综合考虑精确率与召回率,等于二者的调和平均值,定义如下:

$$
\mathrm { F l - S c o r e } = 2 ^ { * } \mathrm { p r e c i s i o n ^ { * } r e c a l l / ( p r e c i s i o n + r e c a l l ) }
$$

精确率和准确率看似只在分母上有细微差别,其实表达的意思截然不同,它们反映了分类器性能的两个方面。之所以有两个概念,是因为不同问题中我们关注的侧重点不同。我们来看以下两个场景。

(1) 罪犯追踪

在人脸识别罪犯的案例中,通常我们会秉着“不错怪任何好人”的原则,希望我们识别出来的“罪犯”确实全部是真的罪犯。因此,我们要让精确率尽可能高,判断出的正值不能有失误。虽然这样做可能会使得一些嫌犯“逃脱”,但仍然是这个任务中可以接受的结果,总比错将好人当作犯人产生不必要的麻烦要好得多。

(2) 地震检测

对于地震的预测则恰恰相反,我们希望当地震真实发生时我们能预测出来,宁可100次误报95次,将5次地震全部预测到,而不要只预测10次,结果漏掉5次中的2次。在这个情形中,我们希望召回率越高越好,哪怕牺牲一定的精确率。

  1. 回归模型的拟合效果评估

相比分类模型,回归模型的评价指标则比较简单,最常使用的指标就是前面提到的MSE。回忆一下,MSE是估计值与真实值之差的平方和取均值再开平方根,用来量化预测值和真实值的偏离程度。除了MSE之外,有时也会用MAE(Mean AbsoluteError,平均绝对误差)。MAE是估计值与真实值之差的绝对值取均值。MAE看起来似乎比MSE更直观,但远不及MSE常用。这主要是因为MSE作为误差(损失)函数是可导的,方便通过求导来找最小值。

  1. 其他评价指标

除了衡量模型的准确度外,有时我们还需要关注计算能力相关的一些指标,比如运行时间、占用内存等。这些指标虽然重要,但通常不会作为优化的对象,而是作为一种“条件指标”进行约束,在该约束下使得我们要优化的指标(准确度)尽可能好。

5.6.2 机器学习算法与人类比较

随着机器学习越来越普及,人们逐渐开始将机器学习和人类的表现作比较。机器学习算法和人类的比较也成为越来越多机器学习学者研究的课题。这是因为最近几年随着机器学习算法变得越来越先进,特别是深度学习的兴起,机器学习在面临更多领域问题的时候表现出很高的可行性,并且可以和人类相提并论。比如拿图像识别来说,机器识别一个物体,给我们的感觉就像用人眼识别一样,几乎所有人类能辨识出来的东西机器也能办到,并具有和人类不相上下的准确率。同时,在建立机器学习系统时,通常通过高度机动性的工作流来实现,这比人类手工完成要高效得多。

人工智能与大数据技术导论

158