---
schema_version: "library-reader-v1"
source_type: "original_book"
title: "人工智能与大数据技术导论"
author: null
edition: null
publisher: null
year: null
isbn: "9787302517986"
library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71"
source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0"
pdf_physical_page_count: 490
pdf_physical_page_index_base: 0
range_start: 360
range_count: 10
html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=360&limit=10"
markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=360&limit=10"
previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=350&limit=10"
next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=370&limit=10"
---

# 人工智能与大数据技术导论

> 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。

## PDF_PHYSICAL_PAGE_INDEX=360 | PRINTED_PAGE=344

人工智能与大数据技术导论

结果如图10-40所示。

$$
\begin{array} { r }  [ \begin{array}  c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c c \end{array} \end{array}
$$

图10-40 10000行数据执行结果

如图10-40所示，第一列中包含类别标签。其余列中包含特征值，每个像素对应一个特征值，有28×28=784个像素值，其中大部分像素值为零。

如图10-41所示，这些样本都是分辨率相对较低、对比度相对较高的手写数字图片。0\~9十个数字中的每个可能出现的数字均由唯一的类别标签表示。因此，这是一个具有10个类别的多类别分类问题。现在，我们解析一下标签和特征，并查看几个样本（注意1oc的使用，借助loc，我们能够基于原来的位置抽出各列，因为此数据集中没有标题行）。

$$
\begin{array} { r } { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\ { \widetilde { \mathbf { \Gamma } } } \\  \widetilde  \mathbf  \ \end{array}
$$

图10-41 手写数字

344

## PDF_PHYSICAL_PAGE_INDEX=361 | PRINTED_PAGE=345

训练数据集代码如下：

训练数据集的结果如图10-42所示。

验证数据集代码如下：

验证数据集的结果如图10-43所示。

第10章 神经网络

345

## PDF_PHYSICAL_PAGE_INDEX=362 | PRINTED_PAGE=346

下面显示一个随机样本及其对应的标签，代码如下：

结果如图10-44所示。

下面我们为MNIST构建线性模型。首先，创建一个基准模型，作为比较对象。LinearClassifier可提供一组k类一对多分类器，每个类别（共k个）对应一个分类器。除了报告准确率和绘制对数损失函数随时间变化的曲线图之外，我们还展示了一个混淆矩阵。混淆矩阵会显示错误分类为其他类别的类别。另外，我们使用1og\_loss函数跟踪模型的错误。读者不应将此函数与用于训练的LinearClassifier内部损失函数相混淆。

人工智能与大数据技术导论

346

## PDF_PHYSICAL_PAGE_INDEX=363 | PRINTED_PAGE=347

接着，我们会对训练和预测使用单独的输入函数，并将这些函数分别嵌套在create\_training input fn()和 createpredict input fn()中，这样一来，我们就可以调用这些函数，以返回相应的 input fn，并将其传递到.train()和.predict()中调用。其代码如下：

第10章 神经网络

347

## PDF_PHYSICAL_PAGE_INDEX=364 | PRINTED_PAGE=348

人工智能与大数据技术导论

348

## PDF_PHYSICAL_PAGE_INDEX=365 | PRINTED_PAGE=349

第10章 神经网络

349

## PDF_PHYSICAL_PAGE_INDEX=366 | PRINTED_PAGE=350

下面我们调试批量大小、学习速率和步数三个超参数进行试验。我们的目标是让准确率约为0.9。其代码如下：

人工智能与大数据技术导论

350

## PDF_PHYSICAL_PAGE_INDEX=367 | PRINTED_PAGE=351

结果如图10-45、图10-46所示。

validation targets=validation targets)

第10章 神经网络

351

## PDF_PHYSICAL_PAGE_INDEX=368 | PRINTED_PAGE=352

下面使用神经网络替换线性分类器。使用DNNClassifier替换上面的LinearClassifier，并查找可实现0.95或更高准确率的参数组合。我们也可以尝试Dropout等其他正则化方法。这些正则化方法已记录在DNNClassifier类的注释中。除了神经网络专用配置（例如隐藏单元的超参数）之外，以下代码与原始的LinearClassifer训练代码几乎完全相同。

人工智能与大数据技术导论

352

## PDF_PHYSICAL_PAGE_INDEX=369 | PRINTED_PAGE=353

第10章 神经网络

353

下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=370&limit=10)