人工智能与大数据技术导论

人工智能与大数据技术导论

过拟合（overfitting）

创建的模型与训练数据过于匹配，以至于模型无法根据新数据做出正确的预测。

P

Pandas

面向列的数据分析API。很多机器学习框架（包括TensorFlow）都支持将Pandas数据结构作为输入。可参阅Pandas文档。

参数(parameter）

机器学习系统自行训练的模型的变量。例如，权重就是一种参数，它们的值是机器学习系统通过连续的训练迭代逐渐学习到的。与超参数相对。

参数服务器(Parameter Server，PS)

一种作业，负责在分布式设置中跟踪模型参数。

参数更新（parameter update)

在训练期间（通常是在梯度下降法的单次迭代中）调整模型参数的操作。

偏导数(partial derivative)

一种导数，除了一个变量之外的所有变量都被视为常量。例如，f(x,y)对x的偏导数就是f(x)的导数（即使y保持恒定）。f对x的偏导数仅关注x如何变化，而忽略公式中的所有其他变量。

分区策略（partitioning strategy）

参数服务器中分割变量的算法。

性能（performance）

多含义术语，具有以下含义：

●在软件工程中的传统含义，即相应软件的运行速度有多快（或有多高效）。

●在机器学习中的含义。在机器学习领域，性能旨在回答的问题是，相应模型的准确度有多高，即模型在预测方面的表现得有多好。

困惑度(perplexity)

一种衡量指标，用于衡量模型能够多好地完成任务。例如，假设任务是读取用户使用智能手机键盘输入字词时输入的前几个字母，然后列出一组可能的完整字词。此任务的困惑度(P)是，为了使列出的字词中包含用户尝试输入的实际字词，你需要提供猜测项的个数。

464

困惑度与交叉熵的关系如下：

P=2-cross entropy

流水线(pipeline)

机器学习算法的基础架构。流水线包括收集数据、将数据放入训练数据文件、训练一个或多个模型以及将模型导出到生产环境。

正类别(positive class)

在二元分类中，两种可能的类别分别被标记为正类别和负类别。正类别的结果是我们要测试的对象（不可否认的是，我们会同时测试这两种结果，但只关注正类别结果）。例如，在医学检查中，正类别可以是“肿瘤”；在电子邮件分类器中，正类别可以是“垃圾邮件”。

与负类别相对。

精确率（precision）

一种分类模型指标。精确率指模型正确预测正类别的频率，即：

$$
A = A B = \frac { A B } { A C } = \frac { A B } { A B } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } = \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 } \times \frac { 1 } { 2 }
$$

预测（prediction）

模型在收到输入的样本后的输出。

预测偏差(prediction bias)

一个值，用于表明预测平均值与数据集中标签的平均值相差有多大。

预创建的 Estimator(pre-madeEstimator)

其他人已建好的Estimator。TensorFlow提供了一些预创建的Estimator，包括DNNClassifier、DNNRegressor和LinearClassifier。你可以按照这些说明构建自已预创建的Estimator. 2

预训练模型(pre-trained model)

已经训练过的模型或模型组件（例如嵌套）。有时，你需要将预训练的嵌套馈送到神经网络。在其他时候，你的模型将自行训练嵌套，而不依赖于预训练的嵌套。

先验信念(prior belief)

在开始采用相应数据进行训练之前，你对这些数据抱有的信念。例如，L2正则化依赖的先验信念是权重应该很小且应以0为中心呈正态分布。

附录D 术语列表

465

Q

队列(queue)

一种TensorFlow操作，用于实现队列数据结构，通常用于I/O中。

R

等级（rank）

机器学习中的一个多含义术语，可以理解为下列含义之一：

●张量中的维度数量。例如，标量等级为0，向量等级为1，矩阵等级为2。

●在将类别从最高到最低进行排序的机器学习问题中，类别的顺序位置。例如，行为排序系统可以将小狗的奖励从最高（牛排）到最低（甘蓝）进行排序。

评分者（rater）

为样本提供标签的人，有时称为“注释者”。

召回率(recall)

一种分类模型指标，用于回答的问题是：在所有可能的正类别标签中，模型正确地识别出了多少个、即：

$$
A \bot A B = \frac { A B } { A C } ( A B \bot A C ) ( A B \bot A B \bot C + B A \bot A B \bot A C )
$$

修正线性单元(ReLU,Rectified LinearUnit)

一种激活函数，其规则如下：

● 如果输入为负数或0，则输出0。

●如果输入为正数，则输出等于输入。

回归模型(regression model)

一种模型，能够输出连续的值（通常为浮点值）。可与分类模型进行比较，分类模型输出离散值，例如“垃圾邮件”或“非垃圾邮件”。

正则化（regularization）

对模型复杂度的惩罚。正则化有助于防止出现过拟合，包含以下类型：

● L1 正则化。

●L2 正则化。

●丢弃正则化。

●早停法（这不是正式的正则化方法，但可以有效限制过拟合）。

人工智能与大数据技术导论

466

正则化率（regularization rate）

一种标量值，以lambda表示，用于指定正则化函数的相对重要性。从下面简化的损失公式中可以看出正则化率的影响：

$$
\mathrm { m i n i m i z e ( l o s s ~ f u n c t i o n + \lambda \rangle ( r e g u l a r i z a t i o n ~ f u n c t i o n ) } \mathrm { ~ } )
$$

提高正则化率可以减少过拟合，但可能会使模型的准确率降低。

表示法（representation）

将数据映射到实用特征的过程。

ROC曲线(Receiver Operating Characteristic 曲线)

不同分类阈值下的真正例率和假正例率构成的曲线。另可参阅曲线下面积。

根目录（root directory）

你指定的目录，用于托管多个模型的TensorFlow检查点和事件文件的子目录。

均方根误差(Root Mean Squared Error，RMSE)

均方误差的平方根。

S

SavedModel

保存和恢复TensorFlow模型时建议使用的格式。SavedModel是一种独立于语言且可恢复的序列化格式，使较高级别的系统和工具可以创建、使用和转换TensorFlow模型。

Saver

一种TensorFlow对象，负责保存模型检查点。

缩放(scaling）

特征工程中的一种常用做法，是对某个特征的值区间进行调整，使之与数据集中其他特征的值区间一致。例如，假设你希望数据集中所有浮点特征的值都位于0到1的区间内，如果某个特征的值位于0到500的区间内，就可以通过将每个值除以500来缩放该特征。

另可参阅标准化。

scikit-learn

一个热门的开源代码机器学习平台。可访问www.scikit-learn.org。

半监督式学习(semi-supervised learning)

训练模型时采用的数据中，某些训练样本有标签，而其他样本则没有标签。半监督式学习

附录D 术语列表

467

采用的一种技术是推断无标签样本的标签，然后使用推断出的标签进行训练，以创建新模型。
如果获得有标签样本需要高昂的成本，而无标签样本则有很多，那么半监督式学习将非常有用。

序列模型(sequence model)

一种模型，其输入具有序列依赖性。例如，根据之前观看过的一系列视频对观看的下一个视频进行预测。

会话(session)

维持TensorFlow程序中的状态（例如变量）。

S型函数(sigmoid function)

一种函数，可将逻辑回归输出或多项回归输出（对数概率）映射到概率，以返回介于0和1之间的值。在某些神经网络中，S型函数可作为激活函数使用。

softmax

一种函数，可提供多类别分类模型中每个可能类别的概率。这些概率的总和正好为1.0。例如，softmax可能会得出某个图像是狗、猫和马的概率分别是0.9、0.08和0.02。(也称为完整softmax。)

与候选采样相对。

稀疏特征(sparse feature)

一种特征向量，其中的大多数值都为0或为空。例如，某个向量包含一个为1的值和一百万个为0的值，该向量就属于稀疏向量。再举一个例子，搜索查询中的单词也可能属于稀疏特征一在某种指定语言中有很多可能的单词，但在某个指定的查询中仅包含其中几个。

与密集特征相对。

平方合页损失函数(squared hinge loss)

合页损失函数的平方。与常规合页损失函数相比，平方合页损失函数对离群值的惩罚更严厉。

平方损失函数(squared loss)

在线性回归中使用的损失函数（也称为L2损失函数）。该函数可计算模型为有标签样本预测的值和标签的实际值之差的平方。由于取平方值，因此该损失函数会放大不佳预测的影响。也就是说，与L1损失函数相比，平方损失函数对离群值的反应更强烈。

静态模型(staticmodel)

离线训练的一种模型。

平稳性(stationarity)

数据集中数据的一种属性，表示数据分布在一个或多个维度保持不变。这种维度最常见的是时间，即表明平稳性的数据不随时间而变化。例如，从9月到12月，表明平稳性的数据没有发生变化。

人工智能与大数据技术导论

468

步(step）

对一个批次的向前和向后评估。

步长(step size)

学习速率的同义词。

随机梯度下降法(Stochastic Gradient Descent，SGD)

批次大小为1的一种梯度下降法。换句话说，SGD依赖于从数据集中随机均匀选择的单个样本来计算每步的梯度估算值。

结构风险最小化(Structural Risk Minimization，SRM)

一种算法，用于平衡以下两个目标：

●期望构建最具预测性的模型（例如损失最低）。

●期望使模型尽可能简单（例如强大的正则化）。

例如，旨在将基于训练集的损失和正则化降至最低的模型函数就是一种结构风险最小化算法。它与经验风险最小化相对。

总结(summary）

在TensorFlow中的某一步计算出的一个值或一组值，通常用于在训练期间跟踪模型指标。

监督式机器学习(supervisedmachinelearning)

根据输入数据及其对应的标签来训练模型。监督式机器学习类似于学生通过研究一系列问题及其对应的答案来学习某个主题。在掌握了问题和答案之间的对应关系后，学生便可以回答关于同一主题的新问题（以前从未见过的问题）。可与非监督式机器学习进行比较。

合成特征(synthetic feature)

一种特征，不在输入特征之列，而是从一个或多个输入特征衍生而来的。合成特征包括以下类型：

●将一个特征与其本身或其他特征相乘（称为特征组合）。

两个特征相除。

●对连续特征进行分桶，以分为多个区间分箱。

通过标准化或缩放单独创建的特征不属于合成特征。

附录D 术语列表

469

T

目标（target)

标签的同义词。

时态数据(temporal data)

在不同时间点记录的数据。例如，记录的一年中每一天的冬外套销量就属于时态数据。

张量(Tensor)

TensorFlow程序中的主要数据结构。张量是N维（其中N可能非常大）数据结构，最常见的是标量、向量或矩阵。张量的元素可以包含整数值、浮点值或字符串值。

张量处理单元(Tensor Processing Unit，TPU)

一种ASIC（应用专用集成电路），用于优化TensorFlow程序的性能。

张量等级（Tensor rank）

可参阅等级。

张量形状(Tensor shape)

张量在各种维度中包含的元素数。例如，张量[5,10]在一个维度中的形状为5，在另一个维度中的形状为10。

张量大小(Tensor size)

张量包含的标量总数。例如，张量[5,10]的大小为50。

TensorBoard

一个信息中心，用于显示在执行一个或多个TensorFlow程序期间保存的摘要信息。

TensorFlow

一个大型的分布式机器学习平台。该术语还指TensorFlow堆栈中的基本API层，该层支持对数据流图进行一般计算。虽然TensorFlow主要应用于机器学习领域，但也可用于需要使用数据流图进行数值计算的非机器学习任务。

TensorFlowPlayground

一款用于直观呈现不同的超参数对模型（主要是神经网络）训练的影响的程序。要试用TensorFlow Playground,可前往 http://playground.tensorflow.org。

TensorFlow Serving

一个平台，用于将训练过的模型部署到生产环境。

人工智能与大数据技术导论

470

测试集（test set)

数据集的子集，用于在模型经由验证集的初步验证之后测试模型。

与训练集和验证集相对。

tf.Example

一种标准的protobuffer，旨在描述用于机器学习模型训练或推断的输入数据。

时间序列分析(time series analysis)

机器学习和统计学的一个子领域，旨在分析时态数据。很多类型的机器学习问题都需要时间序列分析，其中包括分类、聚类、预测和异常检测。例如，你可以利用时间序列分析根据历史销量数据预测未来每月的冬外套销量。

训练（training）

确定构成模型的理想参数的过程。

训练集(training set)

数据集的子集，用于训练模型。与验证集和测试集相对。

转移学习(transferlearning)

将信息从一个机器学习任务转移到另一个机器学习任务。例如，在多任务学习中，一个模型可以完成多项任务，针对不同任务具有不同输出节点的深度模型，转移学习可能涉及将知识从较简单任务的解决方案转移到较复杂的任务，或者将知识从数据较多的任务转移到数据较少的任务。

大多数机器学习系统都只能完成一项任务。转移学习是迈向人工智能的一小步，在人工智能中，单个程序可以完成多项任务。

真负例(Rue Negative，TN)

被模型正确地预测为负类别的样本。例如，模型推断出某封电子邮件不是垃圾邮件，而该电子邮件确实不是垃圾邮件。

真正例（True Positive，TP）

被模型正确地预测为正类别的样本。例如，模型推断出某封电子邮件是垃圾邮件，而该电子邮件确实是垃圾邮件。 1-

真正例率(True Positive Rate，TP率)

召回率的同义词，即：

$$
\frac { 1 } { 2 } \because \vert ( \overrightarrow { y } ) \vert \frac { 3 } { 2 } = \frac { 1 } { 2 } \vert ( \overrightarrow { y } ) \vert \frac { 3 } { 2 } \times \vert ( \overrightarrow { y } ) \vert ( \frac { 1 } { 2 } \vert ( \overrightarrow { y } ) \vert \frac { 3 } { 2 } \times + \vert ( \overrightarrow { y } ) \vert ( \overrightarrow { y } ) \vert \frac { 3 } { 2 } \times \vert ( \overrightarrow { y } ) \vert ( \frac { 3 } { 2 } \times \overrightarrow { y } )
$$

真正例率是ROC曲线的y轴。

附录D 术语列表

471

U

无标签样本(unlabeled example)

包含特征但没有标签的样本。无标签样本是用于进行推断的输入内容。在半监督式和非监督式学习中，无标签样本在训练期间被使用。

非监督式机器学习(unsupervised machine learning）

训练模型，以找出数据集（通常是无标签数据集）中的模式。

非监督式机器学习最常见的用途是将数据分为不同的聚类，使相似的样本位于同一组中。例如，非监督式机器学习算法可以根据音乐的各种属性将歌曲分为不同的聚类。所得聚类可以作为其他机器学习算法（例如音乐推荐服务）的输入。在很难获取真标签的领域，聚类可能会非常有用。例如，在反滥用和反欺诈等领域，聚类有助于人们更好地了解相关数据。

非监督式机器学习的另一个例子是主成分分析（PCA）。例如，通过对购物车中包含数百万物品的数据集进行主成分分析，可能会发现有柠檬的购物车中往往也有抗酸药。

可与监督式机器学习进行比较。

验证集（validation set)

数据集的一个子集，从训练集分离而来，用于调整超参数。

与训练集和测试集相对。

权重(weight)

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为0，则相应的特征对模型来说没有任何贡献。

宽度模型(wide model)

一种线性模型，通常有很多稀疏输入特征。我们之所以称之为“宽度模型”，是因为这是一种特殊类型的神经网络，其大量输入均直接与输出节点相连。与深度模型相比，宽度模型通常更易于调试和检查。虽然宽度模型无法通过隐藏层来表示非线性关系，但可以利用特征组合、分桶等转换以不同的方式为非线性关系建模。

与深度模型相对。

人工智能与大数据技术导论

472

"pdg\_main\_pages\_max": 472,

"total\_pages": 489,

"pdg\_main\_pages\_found": 472,

Images have been losslessly embedded. Information about the original file can be found in PDF attachments. Some stats (more in the PDF attachments):

"crc32": 128371296,

"zip\_password": "",

"uncompressed\_size": 119078025,