征工程。本节阐述探索性分析的目的和途径、数据清洗的常见类型和手段、特征工程的重要性和常见方法。
4.3.1 探索性分析
探索性分析（Exploratory Analysis），或者叫探索性数据分析（ExploratoryData Analysis）是通过图表等可视化工具对原始数据（RawData）进行大致了解和初步分析的过程。探索性分析的目的是让我们对陌生的数据集有个直观和感性的认识，从而在庞大的数据集中发现有价值、值得挖掘的信息，找出数据集中的“亮点”。具体而言，通过探索性分析，我们可以：
●了解数据集的基本信息。
●给数据清洗提供方向。
为特征工程提供方向。
探索性分析是我们在拿到数据集还没有头绪的时候可以尝试的手段。探索性分析要避免时间过长，毕竟我们的目的是对数据进行初步探索，分析工作的大头在后面。
4.3.2 数据清洗
好的数据总是比好的算法要强得多（Better data beats fancier algorithms）。这句话送给初学者是最合适不过的。任何想从事机器学习的数据分析师，首先要记住这句话。如果数据质量差，杂乱无章，即使再好的算法也没有用，就好比加工垃圾一样，用再先进的技术加工出来的成品也是垃圾（Garbagein，garbageout）。之所以要进行数据清洗，是因为在现实生活中，我们遇到的绝大多数数据集都是“不干净的”。比如会出现以下情形（见表4-3）：
存在重复记录的数据
比如人口数据中同一个人有两条完全相同的记录。
●存在不相关记录
比如我们只关注中国人口数据，但数据集中有美国人的信息。
●无用的特征信息
例如身份ID等一些显然不会对结果有影响的编号类数据。
文字拼写错误
一些比较明显的信息输入错误。
信息格式不统一
例如大小写不一致，比如“beijing”和“Beijing”应该属同一类。表述形式不统一，比如“陕西省”和“陕西”也应该统一成一种。
第4章 机器学习概述
143