人工智能时代：破解人机共存密码（套装共10册）

cS (No R)

图10-5 猴脑中多巴胺神经元的反应，证明了它能够向大脑的其他部分发出奖励预测误差。每个点都是多巴胺神经元的一次脉冲。每一条线都是单一的学习试验。每个时间段中脉冲的数量显示在记录的顶部。（上图）在学习开始时，奖励（R）是意外得到的，多巴胺在得到奖励后激发了一段脉冲。（中图）经过多次试验，当光照（条件刺激，conditioned stimulus，CS）在奖励发放前持续闪现时，多巴胺细胞对CS做出了反应，但没有对奖励做出回应。根据时间差分学习，奖励后的响应被奖励前的预测抵消了。（下图）当奖励在试验中被扣留时，多巴胺神经元的激发在预期出现奖励的位置出现了回落。图片改编自：Schultz, Dayan, and Montague, “ANeural Substrate of Prediction and Reward,” 1594, figure 1。

1992年，我去柏林拜访了正在研究蜜蜂大脑快速学习的兰道夫·门泽尔（Randolph Menzel），当时我们在灵长类动物的奖励预测误差方面已经取得了一些进展。蜜蜂的学习能力在昆虫界是数一数二的。在访问一朵花几次并得到奖励后，蜜蜂就能记住这朵花。蜜蜂脑中有大约100万个小神经元，很难记录这些神经元的活动，因为它们非常小。门泽尔的小组发现了一种叫作“VUMmx1”的独特神经元，它对蔗糖有反应，但对气味没有反应。然而，如果先传递气味再提供蔗糖奖励，VUMmx1也会对气味做出反应。^[10]时间差分学习的多巴胺模型在蜂脑中可能由单个神经元实现。VUMmx1释放了一种在化学上与多巴胺密切相关的神经调节剂——奥克巴胺（octopamine）。这种蜜蜂学习模式可以对蜜蜂心理学中一些微妙的方面做出解释，比如风险规避。^[11]如果让蜜蜂在“定时定量的奖励”和“在一半的时间内获得双倍奖励”之间进行选择，蜜蜂会始终选择前者，尽管奖励的平均值相同。^[12]多巴胺神经元也存在于苍蝇体内，并且已被证明包含几条用于短期和长期关联记忆的并行强化学习途径。^[13]

用“感知—行动”框架提高绩效

多巴胺神经元构成了控制大脑中动机的核心系统，所有成瘾药物都是通过增加多巴胺的分泌水平起作用。当死亡的多巴胺神经元达到一定数量时，人体就会出现帕金森病的症状、包括运动性震颤，运动迟缓，后期则完全丧失任何活动的快感，即“快感缺失”（anhedonia），最终导致活动和反应能力的彻底缺失，即“紧张性抑郁障碍”（catatonia）。当意外奖励发生时，行为正常的多巴胺细胞会向皮层和其他脑部区域短暂释放多巴胺。当实际奖励低于期望时，多巴胺的释放量会减少。这正是时间差分算法的特征（见图10–5）。

当我们需要做出决定时，都会询问多巴胺神经元。我们应该从菜单中点些什么？当我们想象每个菜品时，多巴胺细胞就会提供对预期奖励的估计。我应该和这个人结婚吗？我们的多巴胺细胞会给我们一个比理性分析更值得信赖的“直觉”建议。最难以决定的则是带有许多不相称维度的问题。在选择配偶时，要如何平衡幽默感和邋遢的生活习惯，或者在正面和负面的特质之间做出数以百计的其他权衡。我们的奖励系统将所有这些维度降低到了一个“通用货币”的范畴，即短暂的多巴胺信号。这种“通用货币”的经济力量在我们发现它之前很长一段时间，就已经被大自然所利用了。

时间差分学习算法中存在两个参数：学习速率α和折扣因子γ（见方框10.1）。某些昆虫具有很高的学习速率，比如蜜蜂，在一次访问后就可以学会将花与奖励联系起来。但哺乳动物的学习速率较低，往往要尝试多次。折扣因子（discount factor）也在很大的范围内变化。当γ= 0时，学习算法是贪婪的，仅仅基于是否能立刻获得奖励做出决定；但是当γ= 1时，所有未来奖励都具有相等的权重。在一个经典的实验中，被测试的幼童可以选择是立刻吃掉手里的一颗棉花糖，还是等待15分钟再吃，到时候就能再得到一颗棉花糖。^[14]年龄是一个强有力的预测因子，年龄较小的孩子无法延迟满足感。如果认为有必要，我们可以在短期内做出带来负面回报的选择，以交换在遥远的将来所期望获得的更丰厚的奖励。

多巴胺神经元接受来自大脑中被称为“基底神经节”部分的输入（见图10–4），众所周知，这对于顺序学习和习惯行为的形成是很重要的。基底神经节纹状体中的神经元接受来自整个大脑皮层的输入。来自皮叶层后半部分的输入，对于学习动作的顺序以实现某个目标而言十分重要。前额叶皮层对基底神经节的输入更多的是与行动的计划顺序有关。从皮层到基底神经节再返回的循环需要100毫秒，每秒循环信息10次。这就允许通过一系列快速决策来实现目标。基底神经节的神经元也会评估皮层状态，并为它们分配一个值。

基底神经节执行的是杰拉德·特索罗在TD-Gammon中训练的价值函数的高级版本，后者被用来预测棋盘位置的价值。在第1章中描述的由DeepMind公司开发的AlphaGo所取得的惊人成就，即具备围棋世界冠军级别的能力，是基于与TD-Gammon相同的体系结构，但前者是后者的加强版。TD-Gammon价值网络中的一层隐藏单元在AlphaGo中变成了十几层，并经历了数百万次对决，但基本的算法是一样的。这是对神经网络学习算法出色的缩放性的生动演示。如果我们继续增加网络规模和训练时间，性能还会获得多大程度的提升呢？

棋类游戏的规则比现实世界要简单得多。电子游戏世界为迈向更复杂和不确定的环境提供了一块垫脚石。DeepMind在2015年已经表明，时间差分学习能够以屏幕像素为输入，学习如何在超人的水平上玩像Pong这样的雅达利（Atari）街机游戏。^[15]下一个垫脚石是三维环境中的视频游戏。《星际争霸》（Star Craft）是有史以来最具竞争力的视频游戏之一，DeepMind正在使用它来开发可在该世界纵横捭阖的自主深度学习网络。微软研究院最近购买了另一种流行的视频游戏《我的世界》（Minecraft）的版权，并开放了它的源代码，以便其他人可以对它的三维环境进行个性化修改，从而加快其人工智能的发展进度。

能够像冠军那样下西洋双陆棋和围棋，是一项了不起的成就，玩电子游戏是下一个重要的进步，那么解决现实世界的问题呢？感知—行动周期（见图10–2）可用于解决任何基于感官数据来计划行动的问题。行为的结果可以与预测的结果进行比较，其差值随后被用于更新进行预测的系统的状态；对先前条件的记忆可以被用来优化资源的使用，并预测潜在的问题。

加拿大安大略省汉密尔顿市麦克马斯特大学（McMasterUniversity）的西蒙·赫金（Simon Haykin），曾经使用这个框架来提高几个重要的工程软件系统的性能，^[16]包括：认知无线电，可以动态分配通信渠道；认知雷达，能够动态地移动频带以减少干扰；还有认知电网，可以动态平衡电网电力负载。风险控制也可以在同一个“感知—行动”框架内进行管理。^[17]通过在每个软件系统中使用“感知—行动”框架来改进它们所管理的领域，可以显著地提高绩效并降低成本。

学习如何翱翔

2016年，加州大学圣迭戈分校的物理学家马西莫·维加索拉（Massimo Vergassola）和我都在思考，是否可以利用时间差分学习，让滑翔机在高空翱翔几小时，而且像许多鸟类那样不用消耗太多能量。^[18]热膨胀空气能够将鸟类带到很高的高度，但是在热空气中，空气是湍流的，同时存在向下和向上的气流。面对如此多的冲击，鸟类是如何保持它们向上轨迹的，我们对此还没有一个清晰的认识。我们的第一步是对湍流对流过程进行一个逼真的物理模拟，并创建一个滑翔机空气动力学模型。下一步就是模拟滑翔机在湍流中的轨迹。

一开始，滑翔机还无法利用上升的空气柱，表现为向下滑行（见图10–6）。在将“向上”标记为奖励后，滑翔机开始学习一种策略，经过几百次试验后，它的飞行轨迹跟鸟类翱翔时所形成的紧凑的环状路径就比较相似了。滑翔机还学习了应对不同程度湍流的不同策略。通过分析这些策略，我们可以提出假设，并参考鸟类翱翔是否的确使用到了这些策略。然后，我们装备了一架翼展有6英尺宽的滑翔机，教它翱翔并保持高度。^[19]

学习如何歌唱

能够展现强化学习能力的其他例子，还包括鸟类如何学习唱歌，以及孩子如何学习说话。在这两种情况下，听觉学习的初始阶段结束之后，就进入了渐进式运动性学习的后期阶段。斑胸草雀在刚出生不久就听到了它们父亲的歌声，但要几个月后才能发出自己的声音。即使当它们在运动学习阶段与父亲分离时，会经历一段听起来很刺耳的初鸣期，但这种声音会不断地改善，最终按照它们父亲特有的音调发出鸟鸣。斑胸草雀可以通过同物种的歌声判断它来自森林的何处，就像我们能够从一个人的口音得知那个人来自哪里一样。推动鸟鸣研究的假设是，在听觉学习阶段，鸟类先学习模板，然后用模板来改进运动系统在运动性学习阶段产生的声音。我们知道强化学习发生在基底神经节，而负责人类和鸣禽运动学习阶段的通路也位于那里。

1995年，我实验室的博士后铜谷贤治（Kenji Doya）开发了“鸟鸣运动细化”的强化学习模型（见图10–7）。该模型通过调整运动通路中的突触，使之与鸟类的发声器官（即鸣管，syrinx）模型相匹配，从而提高了它的性能，然后测试新歌是否比前一首歌更符合这个模板。如果是的话，这些变化就被保留，但如果新的歌曲匹配效果较差，那么突触就会衰减回原来的强度。^[20]我们预测，在产生音节序列的运动回路的顶端，应该只活跃在歌曲单个音节上的神经元，以便更容易地对每个音节分别进行调整。后来，麻省理工学院的米歇尔·菲（Michale Fee）实验室和其他鸟类实验室的研究结果证实了这一点，同时也证实了该模型中的其他关键预测。

图10-7 斑胸草雀的鸟鸣。在图右侧的频谱图中，父亲的歌唱（导师，上图）教给了儿子（学生，上数第二张图），于是这种鸟鸣的声音特征代代相传。注意频谱图（时域上的频谱功率函数）中基调（红色轮廓框）的相似性。基调随着代际的增长而变短。左图来源：http://bird-photoo.blogspot.com/2012/11/zebrafinch-bird-pictures.html；右图来源：Olga Feher Haibin Wang, Sigal Saar, ParthaP. Mitra, and Ofer Tchernichovski,“De novo Establishment of Wild-TypeSong Culture in the Zebra Finch,” figuer 4。

在加州大学旧金山分校研究鸟鸣学习的艾莉森·杜普（AllisonDoupe），以及在西雅图华盛顿大学研究婴儿语言系统发育的帕特里夏·库尔（Patricia Kuhl），都证明了鸣禽学习和幼儿语言学习方面有很多相似之处。^[21]鸟儿的音节和婴儿的音素首先是作为声音被习得的（即听觉学习），而运动学习随后才以鸟类的初鸣和婴儿的咿呀学语开始。在大脑中有许多因领域而异的学习和记忆系统，这些系统必须协同工作以获取新技能。鸟类学习鸟鸣的强化学习算法以及在猴子、人类、蜜蜂等奖励系统中的时间差分学习算法，只是其中的两个例子。

人工智能的可塑性

尽管人们在视觉和听觉等认知功能的自动化方面取得了进展，但人工智能还需要在人类智能的许多其他方面取得进步。皮层中的表征学习与基底神经节中的强化学习相辅相成。人工智能学习能把精通围棋的能力运用到解决其他复杂问题上吗？大部分人类学习都是基于观察和模仿，对于学习识别新对象，我们需要的样本比深度学习要少得多。未标记的感官数据非常丰富，强大的无监督学习算法可以在进行任何监督之前使用这些数据学到一些东西。在第7章中，一个无监督版本的玻尔兹曼学习算法被用来初始化深度学习网络。在第6章中，独立分量分析——一种无监督学习算法，能够从自然图像中提取稀疏编码（sparse population codes）。在第9章，生成对抗网络——一个无监督的学习系统，可以创建逼真的图片。无监督学习是机器学习的下一个前沿领域。我们对大脑式计算的理解才刚刚拉开序幕。