人工智能与大数据技术导论

人工智能与大数据技术导论

结果如图10-40所示。

$$
\begin{array} { r } [ \begin{array} c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c \end{array} \end{array}
$$

图10-40 10000行数据执行结果

如图10-40所示，第一列中包含类别标签。其余列中包含特征值，每个像素对应一个特征值，有28×28=784个像素值，其中大部分像素值为零。

如图10-41所示，这些样本都是分辨率相对较低、对比度相对较高的手写数字图片。0\~9十个数字中的每个可能出现的数字均由唯一的类别标签表示。因此，这是一个具有10个类别的多类别分类问题。现在，我们解析一下标签和特征，并查看几个样本（注意1oc的使用，借助loc，我们能够基于原来的位置抽出各列，因为此数据集中没有标题行）。

$$
\begin{array} { r } { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ \widetilde \mathbf \ \end{array}
$$

图10-41 手写数字

344

训练数据集代码如下：

训练数据集的结果如图10-42所示。

验证数据集代码如下：

验证数据集的结果如图10-43所示。

第10章 神经网络

345

下面显示一个随机样本及其对应的标签，代码如下：

结果如图10-44所示。

下面我们为MNIST构建线性模型。首先，创建一个基准模型，作为比较对象。LinearClassifier可提供一组k类一对多分类器，每个类别（共k个）对应一个分类器。除了报告准确率和绘制对数损失函数随时间变化的曲线图之外，我们还展示了一个混淆矩阵。混淆矩阵会显示错误分类为其他类别的类别。另外，我们使用1og\_loss函数跟踪模型的错误。读者不应将此函数与用于训练的LinearClassifier内部损失函数相混淆。

人工智能与大数据技术导论

346

接着，我们会对训练和预测使用单独的输入函数，并将这些函数分别嵌套在create\_training input fn()和 createpredict input fn()中，这样一来，我们就可以调用这些函数，以返回相应的 input fn，并将其传递到.train()和.predict()中调用。其代码如下：

第10章 神经网络

347

人工智能与大数据技术导论

348

第10章 神经网络

349

下面我们调试批量大小、学习速率和步数三个超参数进行试验。我们的目标是让准确率约为0.9。其代码如下：

人工智能与大数据技术导论

350

结果如图10-45、图10-46所示。

validation targets=validation targets)

第10章 神经网络

351

下面使用神经网络替换线性分类器。使用DNNClassifier替换上面的LinearClassifier，并查找可实现0.95或更高准确率的参数组合。我们也可以尝试Dropout等其他正则化方法。这些正则化方法已记录在DNNClassifier类的注释中。除了神经网络专用配置（例如隐藏单元的超参数）之外，以下代码与原始的LinearClassifer训练代码几乎完全相同。

人工智能与大数据技术导论

352

第10章 神经网络

353