人工智能伦理

图4.25 借助模拟器，人类能够获得一些非常宝贵的经验

在竞技体育中，除了基本技能之外，还需要模拟对手的特点加以专门的训练。一般而言，有针对性的模拟训练样本在真实世界并不多见，如何产生这些样本不是一件容易的事情。

图4.26 对抗、博弈的双方在模拟训练中相互学习、共同进步

机器可以借鉴人类的学习方式，例如，在模拟环境里学习。如今，自动驾驶汽车在模拟环境里完成各种机器学习的任务，包括一些在真实世界里鲜有发生的场景。法国数学家皮埃尔-西蒙· 拉 普 拉 斯 （ Pierre-Simon Laplace, 1749—1827 ） 曾 说 ，“在数学中，我们发现真理的主要工具是归纳和模拟”。显然，这句话也适用于机器学习。

图4.27 开源机器人模拟器WEBOTS提供一个所见即所得的平台，用于降低机器人的设计、训练、测试成本，加速机器人研发过程，缩短机器学习的时间

并不是所有的机器学习都适合在模拟环境里进行，有些环境难以模拟，其复杂程度甚至超过机器学习任务。大致说来，有三类机器学习的方式^[68]：

(1)如果机器学习是基于一些带“标准答案”的训练样本（如已标注好物体类别的图片），这种机器学习就被称为有监督学习（supervised learning)或有指导学习^[69][70]。

(2)如果没有“标准答案”，只有一些判定标准（如对象之间的相似度），在这些标准之下的机器学习被称为无监督学习（unsupervised learning)或无指导学习。例如，按照某些特征的聚类（clustering)。

(3)不同于前两种学习方式，如果机器学习与环境之间有互动、以试错和延迟奖励为特点的机器学习被称为强化学习（reinforcement learning)^[61][71][72]或近似动态规划（approximate dynamic programming)^[73][74][75]^[76]。

无监督学习相当于在没有老师的情况下自学成才。因为切入点不同，一道题不同学生给的解答也许五花八门。

有监督学习则是学生基于老师准备的一些练习题的“标准答案”照葫芦画瓢，然而老师并不教给学生解题思路，学生做对做错了也不知其所以然。老师测试学生学得好坏的手段就是考试，由各种指标来衡量考试成绩。有时候还会搞些统考，公布成绩列几个排行榜。

最有意思的是强化学习，虽然没有“标准答案”，老师却尽职尽责地指导学生解题，学生每一步做得好得到奖励，做得不好得到惩罚（即负的奖励）。学生一步一步地接近答案，其终极目标是使得所有奖励积累之和最大。

REPBLU CENTAARICANE

图4.28 强化学习：老师用奖励和惩罚循循善诱，引导学生自己找出答案

机器学习的方式只有这三种吗？当然不止。比如，老师把解题过程展示出来，每一步都有根有据，交代清楚其背后的原理。甚至，老师教会学生总结不同的题型，随机应变、对症下药等。

《论语·述而》中有很多孔子的教育理念和治学态度。譬如，“子曰：‘三人行，必有我师焉。择其善者而从之，其不善者而改之’。”当前的机器学习还缺乏相互学习的能力，还未做到“敏而好学，不耻下问”。