人工智能时代：破解人机共存密码（套装共10册）

机器已经会识别人类面部表情

你能想象当你在iPhone（苹果手机）上看到股价暴跌，iPhone问你为什么不高兴，会是怎样一种感觉吗？你的面部表情是情绪的窗口，深度学习现在已经可以探进这个窗口了。传统上，人们认为认知和情绪是大脑两个独立的功能。一般认为，认知是皮层功能

（ cortical function ） ， 而 情 绪 是 皮 层 下 的 功 能 （ subcorticalfunction）。事实上，有些皮层下结构可以调节情绪状态，比如杏仁核（amygdala）。当情绪水平很高，特别是感到恐惧的时候，杏仁核就会起作用，但这些结构与大脑皮层有强烈的相互作用。例如，在社交互动中，杏仁核的参与会增强人脑对该事件的记忆。认知和情绪是彼此交织的。

在20世纪90年代，我与加州大学旧金山分校的心理学家保罗·艾克曼（Paul Ekman）（见图12–5）有过合作。艾克曼是世界著名的面部表情专家，是美剧《别对我撒谎》 （Lie to Me）系列中卡尔·莱特曼（Cal Lightman）博士在真实世界中的原型，但他本人比剧中的卡尔要和善很多。艾克曼曾去过巴布亚新几内亚，试图了解前工业时代的文化是否像我们一样，能够做出情绪化的面部表情。他在研究过的所有人类社会中发现了六种普遍的情感表达：快乐、悲伤、愤怒、惊讶、恐惧和厌恶。从那以后，其他常见的面部表情也被提取了出来，但人们在对这些表情的理解上并没有达成共识。有些表达，如恐惧，在一些孤立的社会中有着不同的解释。

1992年，艾克曼和我组织了一个由美国国家科学基金会（NSF）赞助的关于面部表情理解的规划研讨会。^[17]在那个时期，要获得对面部表情研究的资金困难重重。我们的研讨会将神经科学、电子工程和计算机视觉等方面的研究人员，连同心理学家聚集到了一起，为表情分析领域揭开了新篇章。这件事对我来说是一个启示，尽管面部表情的分析在科学、医学和经济等诸多领域都扮演着重要角色，但其重要性却一直被基金机构所忽视。

艾 克 曼 开 发 了 面 部 动 作 编 码 系 统 （ Facial Action CodingSystem，以下简称FACS）来监控面部44块肌肉的状态。由艾克曼培训的FACS专家需要花费一个小时来标记长度为一分钟的视频，每次标记一帧。面部表情是动态的，可以延续若干秒，但是艾克曼发现，有些表情只持续了几帧。这些“微表情”泄露了大脑被抑制的情感状态，常常能说明，有时还会揭示无意识的情绪反应。例如，在婚姻咨询环节中出现的细微的厌恶表情，就是一个预示婚姻会失败的可靠的信_号。[18]

在20世纪90年代，我们使用了一些演员的视频录像来训练反向传播神经网络，对FACS进行自动化。这些训练有素的演员可以像艾克曼那样控制脸上的每一块肌肉。1999年，由我的研究生玛丽安·斯图尔特–巴特利特（Marian Stewart-Bartlett，见图12–6）利用反向传播训练的网络，在实验室识别面部表情的准确率达到了96%，前提是要具备完美的照明，周正的面部角度，以及对视频进行手动时间分割。^[19]这个网络的识别效果很不错，于是1999年4月5日，玛丽安和我在黛安·索耶（Diane Sawyer）主持的《早安美国》（Good MorningAmerica）节目中向公众展示了这一成果。在成为加州大学圣迭戈分校神经计算研究所的一名教师后，玛丽安接着又开发了计算机表情识别工 具 箱 （ Computer Expression Recognition Toolbox ， 以 下 简 称CERT）。^[20]随着计算机的速度变得越来越快，CERT已经能够进行实时分析，可以标记视频流中不断变化的人类面部表情。

2012年，玛丽安和哈维尔·莫维兰将面部表情的自动分析技术商业化，创立了一家名为“Emotient”的公司。保罗·艾克曼和我为这家公司担任科学顾问。Emotient开发的深度学习网络能够以96% 的准确率，在各种不同的照明条件下，利用非正面面部信息实时地对自然行为做出判断。在Emotient的一个演示中，其网络在几分钟内就检测到唐纳德·特朗普（Donald Trump）在共和党的首场初选辩论中，对一个焦点小组^[21]的情绪影响最大。相比之下，民意调查人员花了数天时间才得出了同样的结论，专家们更是在几个月之后才认识到，情感投入是争取到选民的关键。焦点小组中最强烈的面部表情是愉悦，其次是恐惧。此外，Emotient的深度学习网络在尼尔森收视率（Nielsenratings）调查结果发布前的几个月，就预测到了哪些电视剧将大热。Emotient于2016年1月被苹果公司收购，玛丽安和哈维尔现在均在苹果公司任职。

厌恶的情绪。图片来源：玛丽安·斯图尔特-巴特利特，Robert Wright/LDV VisionSummit 2015。

在不久的将来，你的iPhone可能不仅会问你为什么不高兴，还可能帮助你冷静下来。

新技术改变教育方式

13年前，在温哥华举行的2005年NIPS大会上，我和加州大学圣迭戈分校计算机科学与工程系的同事加里·科特雷尔（Gary Cottrell）在一起吃早餐。加里属于20世纪80年代PDP团队最初的一批成员，也是PDP团队仍留在加州大学圣迭戈分校为数不多的几人之一。他是20世纪60年代最后几个仍在坚持神经科学研究团体中的一员，留着马尾辫和灰白的胡须。他读到了NSF发表的一项声明，要求为“学习科学中心”（Science of Learning Centers）提供提案。其中让他感兴趣的内容，是连续5年每年500万美元的预算，而且还可以再延长5年。他想提交一份项目申请，并询问我是否愿意帮忙。他当时说，如果成功了，他就不用再写别的基金申请了。我告诉他说，如果成功的话，这项经费能让他终身从事这一事业了。他笑了起来，之后我们开始了合作。

最终我们的申请被批准了，如我所料，尽管每年提供300页的年度报告很让人崩溃，但取得的科学成果非常惊人。我们的时间动态学习中心（Temporal Dynamics of Learning Center，以下简称TDLC）共有来自全球18个机构的100多名研究人员。在由NSF资助的6个学习科学中心里，我们这个是最以神经科学和工程为导向的，我们将机器学习的最新进展纳入了这些项目中（见图12–7）。^[22]Rubi和CERT是由TDLC资助的两个项目。我们还有一个移动脑电图实验室，让被试者可以在虚拟环境中自由漫游，同时记录他们的脑电波。在大多数脑电图实验室中，被试者必须坐着不动，眼睛都不能眨，以避免产生假象。

我们使用了ICA来抵消运动假象，让我们能够观察被试者主动探索环境，与其他人互动时的大脑活动。

图12-7 新的学习科学包括机器学习和神经科学，以及来自心理学和教育的见解。图片来源：Meltzoff , Kuhl,Movellan, and Sejnowski, “Foundations for a NewScience of Learning,”图1。

以下是TDLC研究人员开展的众多项目中的一部分。

罗格斯分子和行为神经科学中心（Center for Molecular andBehavioral Neuroscience at Rutgers）的艾普利·本纳斯奇（AprilBenasich）开发了一项测试，可以根据宝宝的听觉感知时间来预测婴儿是否会在语言习得和学习能力上存在缺陷；她指出，这些缺陷可以通过自适应地控制声音出现的时间和奖励反馈来纠正，以便宝宝能够发育出正常的听力、语言和学习能力。^[23]这些结果所针对的实验对象年龄跨度从3个月到5岁。即使正常发育的婴儿也会从互动环境中受益。艾普利于2006年创立了AAB Research LLC，让快速听觉处理技术（rapid auditory processing technology，简称RAPT）进入普通家庭，以提高婴儿的学习能力。

玛丽安·斯图尔特–巴特利特和哈维尔·莫维兰使用机器学习自动登记学生的面部表情，^[24]当学生看起来很沮丧，似乎不太理解授课内容时，教师可以收到提醒并采取措施。利用深度学习技术，这一过程如今可以自动且准确地同时记录班级中每个孩子的表情信息。在市场营销、精神病学和法医学等领域，还有很多的面部表情分析应用有待开发。

加州大学圣迭戈分校的哈罗德·帕施勒（Harold Pashler）和科罗拉多大学博尔德分校的迈克尔·莫泽尔（Michael Mozer）研究了12年级的学生在数年内的学习表现，以扩充先前针对大学生为期数月的研究。研究结果表明，个性化的时间分散式复习比短期的填鸭式复习更能改善对学习材料的长期记忆。^[25]他们表示，当学习材料需要在学生的记忆中停留较长时间时，学习的最佳间隔时间最好设得长一些。他们在语言课程中为学生们制定了最佳复习时间表，并帮助他们取得了优异的成绩。

TDLC的博士后研究员贝丝·罗戈夫斯基（Beth Rogowsky）、罗格斯大学的保拉·塔拉尔（Paula Tallal）和范德堡大学的芭芭拉·卡尔霍恩（Barbara Calhoun）表明，在使用口头或书面材料的学习方法之间没有统计学差异，而且，无论是即时理解还是延迟理解，偏好的学习方式和教学方法之间都不存在联系。^[26]学生使用自己更偏好的方式学习不会带来任何积极的效果，这也就意味着大型企业宣传的针对个人学习方式的培训和测试材料，并不会提升课堂的学习效果。

保拉·塔拉尔在2014年启动的1500万美元的“全球学习X奖”（Global Learning X-Prize）中发挥了重要作用。该奖项鼓励教育创新，其目标是开发开源代码和可扩展软件，使发展中国家的儿童能够在18个月内掌握基本的阅读、写作和算术技能。为“全球学习X奖”所做研究的积极影响，将在未来数十年内在全世界引起回响。

TDLC的科学总监安德里亚·千叶（Andrea Chiba）在2014年上海“学习科学国际大会”上介绍了关于所有的学习行为如何改变大脑结构的研究。^[27]这令许多代表都感到惊讶，他们一直相信儿童来到世界上时就具备了一定的潜力，对那些能力不足或者年龄过大的学习者来说，教育只是一种浪费。世界各地仍然存在着巨大的人类潜力有待挖掘。

我们发现教育中最大的问题不是科学方面的，而是来自社会和文化。美国有13500个学区，每个学区都有自己的学校董事会，负责决定课程、教师资格和最佳实践；需要数十年才能实现这些目标，并有针对性地处理这些问题。在教师实施教学之前，他们还必须管理教室秩序，这对于低年级和市中心的学校来说尤其具有挑战性。提出要求的家长们可能不会意识到教学资源的匮乏导致了教师中的职业倦怠现象频发，而教师工会的影响也难辞其咎，后者往往阻碍了日积月累的努力。

教学从根本上来说是一项劳动密集型活动。最优质和最有效的教学方式是让经验丰富的成人教师和学生之间进行一对一交流。^[28]我们背负着一个专为大众教育而设计的流水线系统，对学生按年龄进行划分，教师在大班里年复一年地传授相同的课程。这可能是一种生产汽车的好方法，在劳动力只接受基本教育就能满足社会需求的年代，这样的方法还算行得通。但是当工作岗位需要更高水平的培训和终身学习来更新工作技能时，这个系统就落伍了。诚然，作为成年人，回到学校可能是痛苦和不切实际的。我们正在经历的信息革命已经超越了劳动力世代更替的时间尺度。幸运的是，出现在互联网上的新技术可能会改变我们的学习方式。学习科学中心于2006年创立时，我们并没有预见到，互联网正在重构我们的学习版图。

成为更好的学习者

慕课在2011年突然流行起来，《纽约时报》发表了一篇热门文章，提到了一门大受欢迎的斯坦福大学人工智能在线课程。^[29]大量的学生参加慕课，他们在互联网上这一前所未有的学习行为，在全世界引起了广泛的关注。几乎在一夜之间，很多新公司获得了融资，这些公司专注于开发以及免费在线发布世界上一些最优秀的教育者的讲座。只要能连上网，人们就能随时随地观看这些讲座。除了讲座之外，课程内容还包括测验、考试、供学习者交流的论坛、助教辅导，以及自发组织的本地“见面会”，方便学生在非正式的环境中讨论课程内容。慕课的受众面已经大大增加了——2015年，“慕课人”的数量翻了一番，从估算的1700万增加到了3500多万。慕课绕开了现有教育体系中的所有限制因素。

2013年1月，在加州大学尔湾分校由美国国家科学院主办的一次会议上，我遇到了芭芭拉·奥克利。尽管她读书的时候在数学和科学方面表现欠佳，但她现在是位于密歇根州奥本山和罗切斯特山市的奥克兰大学的一名电子工程学教授。她是曾主修人文科学专业的美国陆军上尉，回到学校之前，她在白令海的拖网渔船上担任俄语翻译。后来她克服了自己在数学方面的心理障碍，获得了电子工程博士学位。在会议的晚宴上，我发现芭芭拉和我在学习方面有着相似的看法，她当时正在写一本书，书名是《学习之道》（A Mind for Numbers: Howto Excel at Math and Science）。于是我邀请她到加州大学圣迭戈分校为高中学生和老师们举办一次TDLC讲座。