人工智能与大数据技术导论

附录C

本书中采用的人工智能中英文术语

machinelearning:机器学习

instance/sample：示例/样本

learning algorithm:学习算法

example:样例

label：标签

converged:收敛

iterative approach:迭代法

attribute/feature:属性/特征

attribute value：属性值

attribute space:属性空间

samplespace:样本空间/输入空间

feature vector:特征向量

dimensionality：维数

hypothesis：假设

ground-truth：真相、真实

learner：学习器

training data:训练数据

training sample:训练样本

training model:训练模型

test sample:测试样本

training set:训练集

labelspace:标记空间、输出空间

classification:分类

regression：回归

binary classification:二分类

multi-class classification:多分类

positive class:正类

negative class:反类

clustering:聚类

supervised learning:监督学习

unsupervisedlearning:无监督学习

generalization:泛化

distribution：分布

induction：归纳

inductive learning:归纳学习

deduction：演绎

specialization：特化

version space：版本空间

fit:匹配

data mining:数据挖掘

artificial intelligence:人工智能

General Problem Solving:通用问题求解

Logic Theorist:逻辑理论家

connectionism：连接主义

symbolism：符号主义

perceptron：感知机

Hyperparameter:超参数

inductive bias:归纳偏好（简称“偏好”)

Occam's razor:奥卡姆剃刀定律

NoFree Lunch Theorem:没有免费的午餐定量（简称NFL)

independent and identically distributed:独立同分布(i,i,d.)

InductiveLogic Programming:归纳逻辑程序设计（简称ILP)

statistical learning:统计学习

SupportVector Meachine:支持向量机（简称 SVM）

kernel methods:核方法

crowdsourcing:众包

transfer learning:迁移学习

learning by analogy:类比学习

deep learning:深度学习

loss:误差

附录C 本书中采用的人工智能中英文术语

445

附录D术语列表

A

A/B测试(A/B testing)

一种统计方法，用于将两种或多种技术进行比较，通常是将当前采用的技术与新技术进行比较。A/B测试不仅旨在确定哪种技术的效果更好，而且有助于了解相应差异是否具有显著的统计意义。A/B测试通常采用一种衡量方式对两种技术进行比较，但也适用于任意有限数量的技术和衡量方式。

准确率(accuracy）

分类模型的正确预测所占的比例，可参阅真正例和真负例。

激活函数(activation function)

一种函数（例如ReLU或S型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

AdaGrad

一种先进的梯度下降法，用于重新调整每个参数的梯度，以便有效地为每个参数指定独立的学习速率。

AUC(ROC曲线下面积，Area under the ROC Curve)

一种会考虑所有可能分类阈值的评估指标。ROC曲线下面积是，对于随机选择的正类别，样本确实为正类别，以及随机选择的负类别，样本为正类别，分类器更确信前者的概率。

B

反向传播算法(backpropagation)

在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播的方式计算（并缓存）每个节点的输出值，再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

基准(baseline)

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

批次（batch）

模型训练的一次迭代（一次梯度更新）中使用的样本集。

批次大小(batch size)

一个批次中的样本数。例如，SGD的批次大小为1，而小批次的大小通常介于10到1000之间。批次大小在训练和推断期间通常是固定的；不过，TensorFlow允许使用动态批次大小。

偏差（bias）

距离原点的截距或偏移。偏差（也称为偏差项）在机器学习模型中以b或w0表示。例如，在下面的公式中，偏差为b:

$$
\mathbf { y } ^ { \prime } { = } \mathbf { b } { + } \mathbf { w } _ { 1 } \mathbf { x } _ { 1 } { + } \mathbf { w } _ { 2 } \mathbf { x } _ { 2 } { + } \ldots { + } \mathbf { w } _ { \mathrm { n } } \mathbf { x } _ { \mathrm { n } }
$$

请勿与预测偏差混淆。

二元分类(binaryclassification)

一种分类任务，可输出两种互斥类别之一。例如，对电子邮件进行评估并输出“垃圾邮件”或“非垃圾邮件”的机器学习模型就是一个二元分类器。

分箱(binning)

可参阅分桶。

分桶(bucketing）

将一个特征（通常是连续特征）转换成多个二元特征（称为桶或箱），通常根据值区间进行转换。例如，你可以将温度区间分割为离散分箱，而不是将温度表示成单个连续的浮点特征。假设温度数据可精确到小数点后一位，则可以将介于0.0度到15.0度之间的所有温度都归入一个分箱，将介于15.1度到30.0度之间的所有温度归入第二个分箱，并将介于30.1度到50.0度之间的所有温度归入第三个分箱。

C

校准层(calibration layer)

一种预测后调整，通常是为了降低预测偏差。调整后的预测和概率应与观察到的标签集的分布一致。

附录D 术语列表

447

人工智能与大数据技术导论

候选采样(candidate sampling)

一种训练时进行的优化，会使用某种函数（例如softmax）针对所有正类别标签计算概率，但对于负类别标签，则仅针对其随机样本计算概率。例如，某个样本的标签为“小猎犬”和“狗”，则候选采样将针对“小猎犬”和“狗”类别输出以及其他类别（猫、棒棒糖、栅栏）的随机子集计算预测概率和相应的损失项。这种采样基于的想法是，只要正类别始终得到适当的正增强，负类别就可以从频率较低的负增强中进行学习，这确实是在实际中观察到的情况。候选采样的目的是，通过不针对所有负类别计算预测结果来提高计算效率。

分类数据（categorical data)

一种特征，拥有一组离散的可能值。以某个名为house style的分类特征为例，该特征拥有一组离散的可能值（共三个），即Tudor、ranch和colonial。通过将housestyle表示成分类数据，相应模型可以学习Tudor、ranch和colonial分别对房价的影响。有时，离散集中的值是互斥的，只能将其中一个值应用于指定样本。例如，carmaker分类特征可能只允许一个样本有一个值（Toyota）。在其他情况下，则可以应用多个值。一辆车可能会被喷涂多种不同的颜色，因此，carcolor分类特征可能会允许单个样本具有多个值（例如red和white）。分类特征有时称为离散特征，与数值数据相对。

检查点(checkpoint)

一种数据，用于捕获模型变量在特定时间的状态。借助检查点可以导出模型权重，跨多个会话执行训练，以及使训练在发生错误之后得以继续（例如作业抢占）。注意，图本身不包含在检查点中。

类别(class)

为标签枚举的一组目标值中的一个。例如，在检测垃圾邮件的二元分类模型中，两种类别分别是“垃圾邮件”和“非垃圾邮件”。在识别狗品种的多类别分类模型中，类别可以是“贵宾犬”“小猎犬”“哈巴犬”等。

分类不平衡的数据集(class-imbalanced data set)

一种二元分类问题，在此类问题中，两种类别的标签在出现频率方面具有很大的差距。例如，在某个疾病数据集中，0.0001的样本具有正类别标签，0.9999的样本具有负类别标签，这就属于分类不平衡问题；但在某个足球比赛预测器中，0.51的样本的标签为其中一个球队赢，0.49的样本的标签为另一个球队赢，这就不属于分类不平衡问题。

分类模型(classification model)

一种机器学习模型，用于区分两种或多种离散类别。例如，某个自然语言处理分类模型可以确定输入的句子是法语、西班牙语还是意大利语。

分类阈值(classification threshold)

一种标量值条件，应用于模型预测的得分，旨在将正类别与负类别区分开。将逻辑回归结果映射到二元分类时使用。以某个逻辑回归模型为例，该模型用于确定指定电子邮件是垃圾邮件的概率。如果分类阈值为0.9，那么逻辑回归值高于0.9的电子邮件将被归类为“垃圾邮件”，低于0.9的则被归类为“非垃圾邮件”。

448

协同过滤(collaborativefiltering)

根据很多其他用户的兴趣来预测某位用户的兴趣。协同过滤通常用在推荐系统中。

混淆矩阵(confusion matrix)

一种N×N表格，用于总结分类模型的预测成效，即标签和模型预测的分类之间的关联。在混淆矩阵中，一个轴表示模型预测的标签，另一个轴表示实际标签。N表示类别个数。在二元分类问题中，N=2。例如，表D-1显示了一个二元分类问题的混淆矩阵示例。

上面的混淆矩阵显示，在19个实际有肿瘤的样本中，该模型正确地将18个归类为有肿瘤（18个真正例），错误地将1个归类为没有肿瘤（1个假负例）。同样，在458个实际没有肿瘤的样本中，模型归类正确的有452个（452个真负例），归类错误的有6个（6个假正例）。

多类别分类问题的混淆矩阵有助于确定出错模式。例如，某个混淆矩阵可以揭示，某个经过训练以识别手写数字的模型往往会将4错误地预测为9，将7错误地预测为1。混淆矩阵包含计算各种效果指标（包括精确率和召回率）所需的充足信息。

连续特征(continuous feature)

一种浮点特征，可能值的区间不受限制，与离散特征相对。

收敛（convergence)

通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

另请参阅早停法。

凸函数(convex function)

一种函数，函数图像以上的区域为凸集。典型凸函数的形状类似于字母U。如图D-1所示都是凸函数。

附录D 术语列表

449

严格凸函数只有一个局部最低点，该点也是全局最低点。经典的U形函数都是严格凸函数。不过，有些凸函数（例如直线）则不是这样的。很多常见的损失函数（包括下列函数）都是凸函数：

L2 损失函数

对数损失函数

●L1正则化

●L2正则化

梯度下降法的很多变体都一定能找到一个接近严格凸函数最小值的点。同样，随机梯度下降法的很多变体都有很高的可能性能够找到接近严格凸函数最小值的点(但并非一定能找到)。

两个凸函数的和（例如L2损失函数+L1正则化）也是凸函数。

深度模型绝不会是凸函数。值得注意的是，专门针对凸优化设计的算法往往总能在深度网络上找到非常好的解决方案，虽然这些解决方案并不一定对应于全局最小值。

凸优化(convexoptimization)

使用数学方法（例如梯度下降法）寻找凸函数最小值的过程。机器学习方面的大量研究都专注于如何通过公式将各种问题表示成凸优化问题，以及如何更高效地解决这些问题。

凸集(convex set)

欧几里得空间的一个子集，其中任意两点之间的连线仍完全落在该子集内。如图D-2所示的两个图形都是凸集。

相反，如图D-3所示的两个图形都不是凸集。

人工智能与大数据技术导论

450

成本(cost)

损失的同义词。

交叉熵（cross-entropy）

对数损失函数向多类别分类问题进行的一种泛化。交叉熵可以量化两种概率分布之间的差异。

自定义Estimator(CustomEstimator)

按照这些说明自行编写的Estimator,与预创建的Estimator相对。

D

数据集(data set)

一组样本的集合。

Dataset API (tf.data)

一种高级别的TensorFlowAPI，用于读取数据并将其转换为机器学习算法所需的格式。tf.data.Dataset对象表示一系列元素，其中每个元素都包含一个或多个张量。tf.data.Iterator对象可获取Dataset中的元素。

决策边界(decision boundary)

在二元分类或多类别分类问题中，模型学到的类别之间的分界线。例如，在如图D-4所示的某个二元分类问题的图片中，决策边界是橙色类别和蓝色类别之间的分界线。

附录D 术语列表

451

密集层(denselayer)

全连接层的同义词。

深度模型(deepmodel)

一种神经网络，其中包含多个隐藏层。深度模型依赖于可训练的非线性关系，与宽度模型相对。

密集特征(dense feature)

一种大部分数值是非零值的特征，通常是一个浮点值张量。参照稀疏特征。

衍生特征(derived feature)

合成特征的同义词。

离散特征(discrete feature)

一种特征，包含有限个可能值。例如，某个值只能是“动物”“蔬菜”或“矿物”的特征便是一个离散特征（或分类特征）。与连续特征相对。

丢弃正则化(dropout regularization)

一种形式的正则化，在训练神经网络方面非常有用。丢弃正则化的运作机制是，在神经网络层的一个梯度步长中移除随机选择的固定数量的单元。丢弃的单元越多，正则化效果就越强。类似于训练神经网络以模拟较小网络的指数级规模集成学习。

动态模型(dynamic model)

一种模型，以持续更新的方式在线接受训练。也就是说，数据会源源不断地进入这种模型。

E

早停法(early stopping)

一种正则化方法，涉及在训练损失仍可以继续减少之前结束模型训练。使用早停法时，会在基于验证数据集的损失开始增加（也就是泛化效果变差）时结束模型训练。

嵌套(embeddings)

一种分类特征，以连续值特征表示。通常，嵌套是指将高维度向量映射到低维度的空间。例如，您可以采用以下两种方式之一来表示英文句子中的单词。

表示成包含百万个元素(高维度)的稀疏向量，其中所有元素都是整数。向量中的每个单元格都表示一个单独的英文单词，单元格中的值表示相应单词在句子中出现的次数。由于单个英文句子包含的单词不太可能超过50个，因此向量中几乎每个单元格都包含0。少数非0的单元格中将包含一个非常小的整数（通常为1），该整数表示

人工智能与大数据技术导论

452

相应单词在句子中出现的次数。

●表示成包含数百个元素（低维度）的密集向量，其中每个元素都包含一个介于0和1之间的浮点值。这就是一种嵌套。

在TensorFlow中，会按反向传播损失训练嵌套，和训练神经网络中的任何其他参数时一样。

经验风险最小化(EmpiricalRiskMinimization，ERM)

用于选择可以将基于训练集的损失降至最低的模型函数。与结构风险最小化相对。

集成学习(ensemble)

多个模型的预测结果的并集。你可以通过以下一项或多项来创建集成学习：

●不同的初始化。

●不同的超参数。

●不同的整体结构。

深度模型和宽度模型属于一种集成学习。

周期(epoch)

在训练时，整个数据集的一次完整遍历，以便不漏掉任何一个样本。因此，一个周期表示“N/批次规模”次训练迭代，其中N是样本总数。

Estimator

tf.Estimator类的一个实例，用于封装负责构建TensorFlow图并运行TensorFlow会话的逻辑。可以创建自己的自定义Estimator，也可以将其他人预创建的Estimator实例化。

样本(example）

数据集的一行。一个样本包含一个或多个特征，此外，还可能包含一个标签。另可参阅有标签样本和无标签样本。

F

假负例(FalseNegative，FN)

考虑一个二分类问题，即将实例分成正类（Positive）或负类（Negative）。对一个二分类问题来说，会出现4种情况。如果一个实例是正类并且也被预测成正类，即为真正类（TruePositive）；如果实例是负类被预测成正类，称为假正类（FalsePositive）。相应地，如果实例是负类被预测成负类，称为真负类（TrueNegative）；如果正类被预测成负类，则称为假负类(FalseNegative)。

FN是被模型错误地预测为负类别的样本。例如，模型推断出某封电子邮件不是垃圾邮件（负类别），但该电子邮件其实是垃圾邮件。

附录D 术语列表

453