人工智能时代：破解人机共存密码（套装共10册）

大脑的许多学习系统和形式多样的可塑性可以协同工作。仅在大脑皮层内就有几十种可塑性，例如神经元兴奋性和增益的可塑性。突触可塑性一个特别重要的形式是稳态（homeostatic），它确保神经元在最佳动态范围内活动。当突触强度降低到零或达到极限时，会发生什么呢？这可能导致神经元永远不会获得足够的输入来达到阈值，或者接收太多的输入并始终保持高水平的活动。吉娜·特里吉亚诺（Gina Turrigiano）在大脑中发现了一种新的突触可塑性形式，它将神经元上的所有突触进行了归一化，以维持神经元活动的平衡。^[22]如果平均活动速率过高，所有兴奋性突触强度都会减小；如果速率太低，所有突触强度都会增加。对于抑制性输入，情况则相反，如果活动速率太高，突触强度会增加，速率太低则减小。类似的归一化形式已经被证明能够有效地模拟大脑中神经映射的发展。^[23]由随机梯度下降（stochastic gradient descent）驱动的人工神经网络能够从稳态缩放（homeostatic scaling）中受益。

大脑在其神经元细胞膜上具有数十个电压敏感的配体门控离子通道，用以调节兴奋性和信号传导。神经元的树突、体细胞和轴突内部一定有某种基于局部活动模式的机制，来动态调节这些通道的位置和密度。有人曾提出过几种算法来实现这些机制。^[24]目前，我们对这些稳态形式的理解并没有达到突触稳态可塑性那样的深度。

更多需要被解决的问题

在 蒙 特 利 尔 举 行 的 2015 年 NIPS 大 会 的 “Brains ， Minds andMachines”（大脑、思维和机器）座谈会，以及2016年巴塞罗那NIPS大会的“Bits and Brains”（比特与大脑）研讨会期间，戴米斯·哈萨比斯和我在关于人工智能未来，以及下一个优先研究重点的问题上进行了激烈的辩论。人工智能中还有许多开放的问题需要解决。最重要的就是因果关系问题，它提供了最高层次的人类推理，以及行动的意向性问题，这两者都预示着一种精神理论。我之前提到，我们所创造的深度学习系统都不能依靠自己独立生存。这些系统的自主性只有在它们包含了迄今为止一直被忽视的，类似于大脑其他部分的功能时才有可能实现，例如管理摄食、繁殖、调节激素、稳定内脏的下丘脑，以及帮助我们根据运动预测误差来调整运动的小脑。这些都是在所有脊椎动物中发现的古老结构，对生存起着至关重要的作用。

哈瓦·西格尔曼（Hava Siegelmann）是马萨诸塞大学阿默斯特分校的计算机科学家，她表明模拟计算（analog computing）是超图灵（super-Turing），也就是说，拥有能够超越数字计算机的计算能力。^[25]可以根据环境进行调整和学习的神经网络也有超图灵计算能力，而普通网络从训练集中学习，然后其结构就被固定下来，在操作时不再从它们的实际经验中学习，这一点和图灵机是一样的。但是，我们的大脑必须持续适应不断变化的条件，这就使我们具备了超图灵能力。我们如何做到这一点并同时拥有以前的知识和技能，是一个尚未解决的问题。哈瓦是DARPA终身学习项目的项目经理。她的“终身学习计划”正在资助一些高级研究，这些研究旨在为自治系统中的终身学习创建新的集成架构。

[1] 虽然我们这位传奇发明家命运未卜，但是一旦国王意识到自己被欺耍了，他很可能会因为自己的无礼而被发落。

[2] Tesauro and Sejnowski, “A Parallel Network That Learns to Play Backgammon.”

[3] R. Sutton, “Learning to Predict by the Methods of Temporal Differences,” MachineLearning3, no. 1 (1988): 9–44.

[4] 参 阅 Richard Bellman Adaptive Control Processes: A Guided Tour(Princeton:Princeton University Press. 1961), 51–59.

11 火爆的NIPS

要追寻科学思想的源头并非易事，因为科学是分布在不同时空中很多个体活动的集合。神经信息处理系统大会（NIPS大会，见图11–1）是本书写作的线索。到目前为止，很明显，这一会议不仅对我，也对整个科学领域产生了重大影响。^[1]当时还没成为我妻子的比阿特丽斯·哥伦布，在1990年的NIPS大会上做了关于SEXNET的演讲。在结婚后不久的一次NIPS大会上，我们还差点分手。NIPS大会让人着迷，白天都是一些会议的常规环节，墙报展示环节设在晚上，直到后半夜各个会场仍然人声鼎沸。有次我在凌晨3点参加完一个环节的活动，回到房间没找到比阿特丽斯，当时我意识到自己麻烦大了。幸运的是，28年后，我们还在一起。

图11-1 NIPS大会的标志。30年前成立的NIPS大会是机器学习和深度学习领域的顶级会议。图片来源：NIPS基金会。

为什么NIPS如此受欢迎

深度学习拥有很长的历史，可以追溯到NIPS年度大会和研讨会，以及这些会议的前身。20世纪80年代，来自世界各地的工程师、物理学家、数学家、心理学家和神经科学家在NIPS大会上齐聚一堂，探讨共同构建人工智能的新方法。物理学家分析神经网络模型，心理学家模拟人类认知，神经科学家模拟神经系统并分析神经记录，统计学家探索高维空间中的大数据集，工程师则负责构建具备类人的视觉和听觉的设备。人工智能就以这样的方式飞速发展起来。

1987年在美国丹佛技术中心举办的第一届NIPS大会，聚集了400位与会者。学术会议通常侧重于狭窄的研究领域，因为每个人都会说同样的术语，彼此间能顺畅地交流。但是早期NIPS大会的科学多样性确实令人惊叹。生物学家在面对其他生物学家做演讲时，会用生物领域的术语。^[2]数学家和物理学家交流的情况更糟糕，他们只会用方程式说话。工程师们会好一些，因为他们构建的东西不言自明。由于这些文化障碍，跨学科研究虽然被普遍寄予厚望，但事实上却很难实现。在早期的NIPS大会上，好像每个人都在自说自话。

1987年NIPS大会的主要会议结束之后，与会者在附近的滑雪胜地Keystone又聚集到一起开了个研讨会，并自行组织了小组会议。在一个不那么正式的环境里，学科之间的真正沟通开始了。我清楚地记得，我们在Keystone的热水浴缸里泡澡的时候，一位神经学博士建议当场开展一个关于海兔的研讨会。^[3]当时我旁边那位来自美国国防部的绅士，很可能在琢磨海兔与国家安全有什么关系。然而今天，NIPS研讨会都是带有墙报展示环节的小型会议，其中一些研讨会吸引了数千名与会者。

是什么让NIPS长期受到追捧呢？首先，是让人激动的氛围，因为我们正处于用受生物学启发的学习算法来解决复杂计算问题的前沿。其次，就是因为爱德华·波斯纳（见图11–2），他是加州理工学院的信息理论家，也是喷气推进实验室（Jet Propulsion Lab）的首席技术专家。他对这个领域有着长远的眼光，并建立了NIPS基金会对大会进行管理。

一个组织的文化往往能反映其创始人的特质。爱德华赋予了NIPS睿智、机敏和幽默感的独特组合。他是一位擅长启发别人的老师，同时也是卓有成效的领导者。他因为支持暑期大学生研究奖学金项目（Summer Undergraduate Research Fellowships，简称SURF）而在加州理工学院备受爱戴，该项目被称为“加州理工皇冠上的宝石”之一。爱德华招募了菲尔·索特尔（Phil Sotel）作为公益法律顾问。数十年间，会议规模和复杂程度都在不断增长。在索特尔的努力下，许多随之而来的问题都妥善地得到了解决，因此大会得以每年顺利举行。

爱德华在我妻子还很年轻的时候就认识她了，并且通过NIPS单独结识了我。所以当我在一次NIPS大会中突然告诉他，比阿特丽斯和我已经订婚（engaged）了的时候，他回答说：“致力于（engaged）什么？”^[4]爱德华于1993年在一次自行车事故中不幸身亡，随后我接替他成为NIPS基金会主席，保证大会的继续发展和繁荣。我们在每年的NIPS大会上都会举办爱德华·波斯纳讲座（Ed Posner Lecture），以表示对他的缅怀和敬意。NIPS大会的特邀演讲嘉宾通常都不是NIPS主流领域内的从业者，但波斯纳讲座主要的演讲者都是来自我们这个群体，并对该领域做出重大贡献的成员。

NIPS大会的主席团由一群杰出的科学家和工程师组成。在此仅列举几位。斯科特·柯克帕特里克是一位物理学家（在第7章中已经介绍过），他发明了一种让计算机先“加热”再慢慢“冷却”，来解决计算难题的“模拟退火算法”。塞巴斯蒂安·特隆是一位计算机科学家（在第1章中介绍过），他赢得了2005年DARPA自动驾驶挑战大赛，为今天的自动驾驶汽车打开了大门。达芙妮·科勒（Daphne Koller）是一位计算机科学家，也是Coursera（将在第12章介绍）的联合创始人，开创了慕课领域的先河。

大数据促成了深度学习的腾飞。不久前，一太字节（terabyte，即万亿字节）的数据还需要占用整个机架；而现在，在单个记忆棒上就可以存储一太字节的数据。互联网公司的数据中心存储的信息以拍字节（petabyte）计量，每拍字节包含1024太字节（1拍字节=10¹⁵字节）。自20世纪80年代以来，世界上的数据量每三年翻一番。每天都有数千拍字节的数据被上传到互联网上，其总容量达到了泽字节（zettabyte，即100万拍字节，或10²¹字节）。大数据爆炸的影响不仅体现在科学和工程领域，也延伸到了社会生活的方方面面。如果没有互联网上的数百万张图像和其他标签数据，就无法训练真正的大型深度学习网络。

世界各地的大学都在为数据科学建立新的中心、研究机构和科系。艾利克斯·萨雷（Alex Szalay）自 1998年以来，就在斯隆数字巡 天 项 目 （ Sloan Digital Sky Survey ， 下 文 简 称 SDSS；http://www.sdss.org/）中收集天文数据。2009年，凭借自己的这份经历，他在约翰·霍普金斯大学建立了数据密集工程和科学研究所（Institute for Data Intensive Engineering and Science，简称IDIES）。SDSS使得天文学家收集的数据总量成千倍地增长，是当今世界上被使用次数最多的天文学设施。然而，正在建设中的大型综合性天 空 巡 天 望 远 镜 （ Large Synoptic Sky Survey Telescope ，https://www.lsst.org/）收集的拍字节规模的数据集，将超越斯隆数字巡天项目收集的太字节规模的数据集达1000倍之多。2013年，当杨立昆在纽约大学创立数据科学中心时，每个科系都有老师带着手中的数据去拜访他。2018年，加州大学圣迭戈分校建立了新的Halıcıoğlu数据科学研究所。数据科学硕士学位（Master’s in Data Sciencedegrees，简称MDSs）正变得像工商管理硕士（MBA）一样受人追捧。

谁拥有最多数据，谁就是赢家

2012年在太浩湖举行的NIPS大会上，深度学习领域的研究已经日趋成熟（见图11–3）。在这次大会上，早期的神经网络先驱杰弗里·辛顿和他的学生们发表了一篇论文，文中指出，多层神经网络在识别图像中的对象方面性能非常出色。^[5]这些网络不仅比现有计算机的视觉技术更好，它们甚至已经处于一种完全不同的更高层次中，更加接近人类的表现水准。《纽约时报》刊登了一篇关于深度学习的文章，同时Facebook宣布与另一位深度学习先驱杨立昆合作成立一个新的人工智能实验室，由后者担任创始实验室主任。

Facebook首席执行官马克·扎克伯格（Mark Zuckerberg）参与了2012年的NIPS深度学习研讨会。当时安保成了令人头痛的问题，但也吸引了更多的与会者，我们不得不分流了一部分人到另外一个播放会场同步视频的房间。在之后的招待会上，我被介绍给了扎克伯格，他问了些关于大脑的问题。他对心智理论特别感兴趣。在心理学中，有一个关于心智如何工作的内隐理论，我们以它为指导来理解他人。我们给朋友发短信时，并没有意识到在打字时大脑做出的许多决定。扎克伯格问了很多问题。“我的大脑如何构建我自己的心理模型？”“我的大脑如何根据经验来创建其他人的心理模型？”“我的大脑如何预测其他人的未来行为？”“其他物种有没有心智理论？”我最近在索尔克研究所合作组织了一个关于心智理论的研讨会，扎克伯格想要研讨会上所有的参考资料。