许多著名的人工智能项目都是在强化学习的基础上实现的，如开发出AlphaGo Zero 围棋程序的 DeepMind 团队在与李世石对弈之后，就曾经宣布为了获得更好的效果，将放弃所有人类对弈图谱，抛弃全部历史数据和原本的监督学习方法，从零开始，完全以机器相互对弈的方式训练新版 AlphaGoZero。由于棋盘上每步落子是否正确，是可以从最终的结果得出的，所以新版AlphaGo Zero 的训练过程的本质是一个强化学习过程。此外，现在许多机器学习任务，从玩游戏到无人车驾驶的训练等也都是基于强化学习来完成的。
6.6.4 数据预处理
介绍完样本、样例和机器学习的主要任务类型之后，我们的邮件过滤系统就可以正式进入训练阶段了。这个阶段要做的第一件事是“对数据进行预处理”（Data Preparation），即统一数据度量标准和去除噪声，目的是保证数据正确，统一对数据的描述形式，并且数据描述中包含对结果有关键影响的特征，以便后续在建立模型、优化模型等步骤中得到高质量的信息输入。保证数据正确的部分被称为“数据清洗”（Data Cleaning），而保证数据描述恰当的部分被称为“特征选择”（Feature Selection）。
“数据清洗”这个名字本身就是一个很形象的比喻，在实践中，样本数据可能来源于数据库、传感器、摄像头等多种测量设备，人们可能以各种不同的方法去收集数据，如此导致的结果是样本本身或者某个特征值会包含一定的误差、缺失或者错误的数据，我们称这种现象为数据里含有“噪声”
190
第三部分 第三波高潮