人工智能与大数据技术导论

人工智能与大数据技术导论

假正例(False Positive，FP)

被模型错误地预测为正类别的样本。例如，模型推断出某封电子邮件是垃圾邮件(正类别)，但该电子邮件其实不是垃圾邮件。

假正例率(False Positive Rate，FP率)

ROC曲线中的x轴。FP率的定义如下：

假正例率=假正例数/（假正例数+真负例数）

特征（feature）

在进行预测时使用的输入变量。

特征列(FeatureColumns)

一组相关特征，例如用户可能居住的所有国家/地区的集合。样本的特征列中可能包含一个或多个特征。TensorFlow中的特征列内还封装了元数据，例如：

●特征的数据类型。

●特征是固定长度还是应转换为嵌套。

特征列可以包含单个特征。

特征交叉组合(featurecross)

通过将单独的特征进行组合（相乘或求笛卡尔积）而形成的合成特征。特征组合有助于表示非线性关系。

特征工程(feature engineering)

特征工程有时称为特征提取，过程为：确定哪些特征可能在训练模型方面非常有用，然后将原始数据转换为所需的特征。

特征集(feature set)

训练机器学习模型时采用的一组特征。例如，对于某个用于预测房价的模型，邮政编码、房屋面积以及房屋状况可以组成一个简单的特征集。

特征规范(feature spec)

用于描述如何从 tf.Example proto buffer提取特征数据。由于tf.Example proto buffer只是一个数据容器，因此必须指定以下内容：

●要提取的数据（特征的键）。

●数据类型（例如float或 int）。

● 长度（固定或可变）。

EstimatorAPI提供了一些可用来根据给定Feature Columns列表生成特征规范的工具。

454

完整softmax(full softmax)

可参阅softmax。与候选采样相对。

全连接层(fullyconnectedlayer)

一种隐藏层，其中的每个节点均与下一个隐藏层中的每个节点相连。全连接层又称为密集层。

G

泛化(generalization)

指的是模型依据训练时采用的数据，针对以前未见过的新数据做出正确预测的能力。

广义线性模型(generalizedlinearmodel)

最小二乘回归模型(基于高斯噪声）向其他类型的模型(基于其他类型的噪声，例如泊松噪声或分类噪声）进行的一种泛化。广义线性模型的示例包括：

● 逻辑回归。

●多类别回归。

●最小二乘回归。

可以通过凸优化找到广义线性模型的参数。广义线性模型具有以下特性：

● 最优的最小二乘回归模型的平均预测结果等于训练数据的平均标签。

●最优的逻辑回归模型预测的平均概率等于训练数据的平均标签。

广义线性模型的功能受其特征的限制。与深度模型不同，广义线性模型无法“学习新特征”。

梯度(gradient)

偏导数相对于所有自变量的向量。在机器学习中，梯度是模型函数偏导数的向量。梯度指向最快上升的方向。

梯度裁剪(gradient clipping)

在应用梯度值之前先设置其上限。梯度裁剪有助于确保数值稳定性以及防止梯度爆炸。

梯度下降法(gradient descent)

一种通过计算并且减小梯度将损失降至最低的技术，它以训练数据为条件来计算损失相对于模型参数的梯度。通俗来说，梯度下降法以迭代方式调整参数，逐渐找到权重和偏差的最佳组合，从而将损失降至最低。

图(graph)

TensorFlow中的一种计算规范。图中的节点表示操作。边缘具有方向，表示将某项操作

附录D 术语列表

455

的结果（一个张量）作为一个操作数传递给另一项操作。可以使用TensorBoard直观地呈现图。

H

启发法(heuristic)

一种非最优但实用的问题解决方案，足以用于进行改进或从中学习。

隐藏层(hidden layer)

神经网络中的合成层，介于输入层（特征）和输出层（预测）之间。神经网络包含一个或多个隐藏层。

合页损失函数(hinge loss)

一系列用于分类的损失函数，旨在找到距离每个训练样本都尽可能远的决策边界，从而使样本和边界之间的裕度最大化。KSVM使用合页损失函数（或相关函数，例如平方合页损失函数）。对于二元分类，合页损失函数的定义如下：

$$
\scriptstyle \mathrm { l o s s = m a x } ( 0 , 1 - ( \mathbf { y } ^ { \prime * } \mathbf { y } ) )
$$

其中“y”表示分类器模型的原始输出：

$$
\mathbf { y } ^ { \prime } { = } \mathbf { b } { + } \mathbf { w } _ { 1 } \mathbf { x } _ { 1 } { + } \mathbf { w } _ { 2 } \mathbf { x } _ { 2 } { + } \ldots { + } \mathbf { w } _ { \mathrm { n } } \mathbf { x } _ { \mathrm { n } }
$$

“y”表示真标签，值为-1或+1。

维持数据(holdout data)

训练期间故意不使用（“维持”）的样本。验证数据集和测试数据集都属于维持数据。维持数据有助于评估模型向训练时所用数据之外的数据进行泛化的能力。与基于训练数据集的损失相比，基于维持数据集的损失有助于更好地估算基于未见过的数据集的损失。

超参数（hyperparameter）

在模型训练的连续过程中，您调节的“旋钮”。例如，学习速率就是一种超参数。与参数相对。

超平面（hyperplane）

将一个空间划分为两个子空间的边界。例如，在二维空间中，直线就是一个超平面，在三维空间中，平面则是一个超平面。在机器学习中更典型的是，超平面是分隔高维度空间的边界。核支持向量机利用超平面将正类别和负类别区分开来（通常在极高维度空间中）。

人工智能与大数据技术导论

456

I

独立同分布(independently and identically distributed，i.i.d)

从不会改变的分布中提取的数据，其中提取的每个值都不依赖于之前提取的值。i.i.d.是机器学习的理想状态，但在现实世界中几乎从未发现过。例如，某个网页的访问者在短时间内的分布可能为i.i.d.，即分布在短时间内没有变化，且一位用户的访问行为通常与另一位用户的访问行为无关。不过，如果将时间窗口扩大，网页访问者的分布可能呈现出季节性变化。

推断(inference）

在机器学习中，推断的过程通常为：通过将训练过的模型应用于无标签样本来做出预测。在统计学中，推断是指在某些观测数据条件下拟合分布参数的过程。

输入函数(input function)

在TensorFlow中，用于将输入数据返回Estimator的训练、评估或预测方法的函数。例如，训练输入函数用于返回训练集中的批次特征和标签。

输入层(inputlayer)

神经网络中的第一层（接收输入数据的层）。

实例（instance）

样本的同义词。

可解释性（interpretability）

模型的预测可解释的难易程度。深度模型通常不可解释，也就是说，很难对深度模型的不同层进行解释。相比之下，线性回归模型和宽度模型的可解释性通常要好得多。

评分者间一致性信度(inter-rateragreement)

一种衡量指标，用于衡量在执行某项任务时评分者达成一致的频率。如果评分者未达成一致，则可能需要改进任务说明。有时也称为注释者间一致性信度或评分者间可靠性信度。

迭代(iteration)

模型的权重在训练期间的一次更新。迭代包含计算参数在单个批量数据上的梯度损失。

K

Keras

一种热门的Python机器学习API。Keras能够在多种深度学习框架上运行，其中包括TensorFlow（在该框架上，Keras作为tf.keras提供）。

附录D 术语列表

457

核支持向量机(Kernel Support Vector Machines，KSVM)

一种分类算法，旨在通过将输入数据向量映射到更高维度的空间来最大化正类别和负类别之间的裕度。以某个输入数据集包含一百个特征的分类问题为例，为了最大化正类别和负类别之间的裕度，KSVM可以在内部将这些特征映射到百万维度的空间。KSVM使用合页损失函数。

L1损失函数（L₁ loss）

一种损失函数，基于模型预测的值与标签的实际值之差的绝对值。与L2损失函数相比，L1损失函数对离群值的敏感性弱一些。

L1正则化（L1regularization）

一种正则化，根据权重的绝对值的总和来惩罚权重。在依赖稀疏特征的模型中，L1正则化有助于使不相关或几乎不相关的特征的权重正好为0，从而将这些特征从模型中移除。与L2正则化相对。

L2 损失函数（L2loss）

可参阅平方损失函数。

L2正则化(L2 regularization)

一种正则化，根据权重的平方和来惩罚权重。L2正则化有助于使离群值（具有较大正值或较小负值）权重接近于0，但又不正好为0（与L1正则化相对）。在线性模型中，L2正则化始终可以改进泛化。

标签（label）

在监督式学习中，标签指样本的“答案”或“结果”部分。有标签数据集中的每个样本都包含一个或多个特征以及一个标签。例如，在房屋数据集中，特征可以包括卧室数、卫生间数以及房龄，而标签则可以是房价。在垃圾邮件检测数据集中，特征可以包括主题行、发件人以及电子邮件本身，而标签则可以是“垃圾邮件”或“非垃圾邮件”。

有标签样本(labeled example)

包含特征和标签的样本。在监督式训练中，模型从有标签样本中进行学习。

lambda

正则化率的同义词。这是一个多含义术语，我们在此关注的是该术语在正则化中的定义。

层(layer)

神经网络中的一组神经元，处理一组输入特征或一组神经元的输出。此外，还指TensorFlow

人工智能与大数据技术导论

458

中的抽象层。层是Python函数，以张量和配置选项作为输入，然后生成其他张量作为输出。
当必要的张量组合起来时，用户便可以通过模型函数将结果转换为Estimator。

Layers API(tf.layers)

一种TensorFlow API，用于以层组合的方式构建深度神经网络。通过Layers API可以构建不同类型的层，例如：

● 通过 tf.layers.Dense 构建全连接层。

通过tf.layers.Conv2D 构建卷积层。

在编写自定义Estimator时，可以编写“层”对象来定义所有隐藏层的特征。LayersAPI遵循Keras LayersAPI规范。也就是说，除了前缀不同以外，Layers API中的所有函数均与KerasLayersAPI中的对应函数具有相同的名称和签名。

学习速率(learning rate)

在训练模型时用于梯度下降的一个变量。在每次迭代期间，梯度下降法都会将学习速率与梯度相乘。得出的乘积称为梯度步长。 qA asoM

学习速率是一个重要的超参数。

最小二乘回归(least squares regression)

一种通过最小化L2损失训练出的线性回归模型。

线性回归(linearregression)

一种回归模型，通过将输入特征进行线性组合，以连续值作为输出。

逻辑回归(logistic regression)

一种模型，通过将S型函数应用于线性预测，生成分类问题中每个可能的离散标签值的概率。虽然逻辑回归经常用于二元分类问题，但也可用于多类别分类问题（其叫法变为多类别逻辑回归或多项回归)。

对数损失函数(Log Loss)

二元逻辑回归中使用的损失函数。

损失(Loss)

一种衡量指标，用于衡量模型的预测偏离其标签的程度。或者更悲观地说，用于衡量模型有多差。要确定此值，模型必须定义损失函数。例如，线性回归模型通常将均方误差用于损失函数，而逻辑回归模型则使用对数损失函数。

附录D 术语列表

459

机器学习（machinelearning)

一种程序或系统，用于根据输入数据构建（训练）预测模型。这种系统会利用学到的模型根据从分布（训练该模型时使用的同一分布）中提取的新数据（以前从未见过的数据）进行实用的预测。机器学习还指与这些程序或系统相关的研究领域。

均方误差(Mean Squared Error，MSE)

每个样本的平均平方损失。MSE的计算方法是平方损失除以样本数。TensorFlowPlayground显示的“训练损失”值和“测试损失”值都是MSE。

指标（metric）

你关心的一个数值。可能可以，也可能不可以直接在机器学习系统中得到优化。你的系统尝试优化的指标称为目标。

Metrics API(tf.metrics)

一种用于评估模型的TensorFlow API。例如，tf.metrics.accuracy用于确定模型的预测与标签匹配的频率。在编写自定义Estimator时，你可以调用MetricsAPI函数来指定应如何评估你的模型。

小批次（mini-batch）

从训练或推断过程的一次迭代中一起运行的整批样本内随机选择的一小部分。小批次的规模通常介于10和1000之间。与基于完整的训练数据计算损失相比，基于小批次数据计算损失要高效得多。

小批次随机梯度下降法(Mini-Batch StochasticGradient Descent，SGD)

一种采用小批次样本的梯度下降法。也就是说，小批次SGD会根据一小部分训练数据来估算梯度。VanillaSGD使用的小批次的规模为1。

ML

机器学习的缩写。

模型(model)

机器学习系统从训练数据学到的内容的表示形式。多含义术语，可以理解为下列两种相关含义之一：

●一种TensorFlow图，用于表示预测计算结构。

该TensorFlow图的特定权重和偏差，通过训练决定。

人工智能与大数据技术导论

460

模型训练(model training）

确定最佳模型的过程。

动量（Momentum）

一种先进的梯度下降法，其中学习步长不仅取决于当前步长的导数，还取决于之前一步或多步的步长的导数。动量涉及计算梯度随时间而变化的指数级加权移动平均值，与物理学中的动量类似。动量有时可以防止学习过程被卡在局部最小的情况。

多类别分类(multi-classclassification)

区分两种以上类别的分类问题。例如，枫树大约有128种，因此，确定枫树种类的模型就属于多类别模型。反之，仅将电子邮件分为两类（“垃圾邮件”和“非垃圾邮件”）的模型属于二元分类模型。

多项分类(multinomialclassification)

多类别分类的同义词。

N

NaN陷阱(NaN trap)

模型中的一个数字在训练期间变成NaN，这会导致模型中的很多或所有其他数字最终也会变成NaN。NaN是“非数字”的缩写。

负类别(negative class)

在二元分类中，一种类别称为正类别，另一种类别称为负类别。正类别是我们要寻找的类别，负类别则是另一种可能性。例如，在医学检查中，负类别可以是“非肿瘤”。在电子邮件分类器中，负类别可以是“非垃圾邮件”。另可参阅正类别。

神经网络(neuralnetwork)

一种模型，灵感来源于脑部结构，由多个层构成（至少有一个是隐藏层），每个层都包含简单相连的单元或神经元（具有非线性关系）。

神经元(neuron)

神经网络中的节点，通常用于接收多个输入值并生成一个输出值。神经元通过将激活函数（非线性转换）应用于输入值的加权和来计算输出值。

节点(node)

多含义术语，可以理解为下列两种含义之一：

●隐藏层中的神经元。

附录D 术语列表

461

人工智能与大数据技术导论

● TensorFlow图中的操作。

标准化(normalization)

将实际的值区间转换为标准的值区间（通常为-1到+1或0到1）的过程。例如，某个特征的自然区间是800到6000，通过减法和除法运算，你可以将这些值标准化为位于-1到+1的区间内。另可参阅缩放。

数值数据(numerical data)

用整数或实数表示的特征。例如，在房地产模型中，你可能会用数值数据表示房子大小(以平方英尺或平方米为单位）。如果用数值数据表示特征，则可以表明特征的值相互之间具有数学关系，并且可能与标签也有数学关系。例如，如果用数值数据表示房子大小，则可以表明面积为200平方米的房子是面积为100平方米的房子的两倍。此外，房子面积的平方米数可能与房价存在一定的数学关系。

并非所有整数数据都应表示成数值数据。例如，世界上某些地区的邮政编码是整数，但在模型中，不应将整数邮政编码表示成数值数据。这是因为邮政编码20000在效力上并不是邮政编码10000的两倍（或一半）。此外，虽然不同的邮政编码确实与不同的房地产价值有关，但我们也不能假设邮政编码为20000的房地产在价值上是邮政编码为10000的房地产的两倍。邮政编码应表示成分类数据。

数值特征有时称为连续特征。

Numpy

一个开源代码数学库，在Python中提供高效的数组操作。Pandas就建立在Numpy之上。

0

目标（objective）

算法尝试优化的指标。

离线推断（offline inference）

生成一组预测，存储这些预测，然后根据需求检索这些预测。与在线推断相对。

独热编码（one-hot encoding）

一种稀疏向量，其中：

一个元素设为 1。

●所有其他元素均设为0。

one-hot编码常用于表示拥有有限个可能值的字符串或标识符。例如，假设某个指定的植物学数据集记录了15000个不同的物种，其中每个物种都用独一无二的字符串标识符来表示，

462

在特征工程过程中，你可能需要将这些字符串标识符编码为one-hot向量，向量的大小为15000。

一对多(one-vs.-all)

假设某个分类问题有N种可能的解决方案，一对多解决方案将包含N个单独的二元分类器，一个二元分类器对应一种可能的结果。例如，假设某个模型用于区分样本属于动物、蔬菜还是矿物，一对多解决方案将提供下列三个单独的二元分类器：

动物和非动物。

● 蔬菜和非蔬菜。

矿物和非矿物。

在线推断(online inference)

根据需求生成预测。与离线推断相对。

操作(Operation，op)

TensorFlow图中的节点。在TensorFlow中，任何创建、操纵或销毁张量的过程都属于操作。例如，矩阵相乘就是一种操作，该操作以两个张量作为输入，并生成一个张量作为输出。

优化器(optimizer)

梯度下降法的一种具体实现。TensorFlow的优化器基类是tf.train.Optimizer。不同的优化器（tf.train.Optimizer的子类）会考虑如下概念：

动量 (Momentum)。

更新频率(AdaGrad=ADAptive GRADient descent; Adam = ADAptive with Momentum; RMSProp)

●稀疏性/正则化（Ftrl）。

●更复杂的计算方法（Proximal，等等）。

甚至还包括NN驱动的优化器。

离群值(outlier）

与大多数其他值差别很大的值。在机器学习中，下列所有值都是离群值。

绝对值很高的权重。

●与实际值相差很大的预测值。

● 值比平均值高大约3个标准偏差的输入数据。

离群值常常会导致模型训练出现问题。

输出层(output layer)

神经网络的“最后”一层，也是包含答案的层。

附录D 术语列表

463