人工智能时代：破解人机共存密码（套装共10册）

在20世纪后半叶，乔姆斯基对语序和句法的强调成为语言学的主导方式。但即使是一个“词袋”（bag of words）模型的神经网络，抛弃单词顺序，也能在判定文章（如体育报道或政论）的主题方面表现出色，并且通过参考直接相邻的文字关系，性能还可以得到进一步的提升。我们通过深度学习获得的经验是，即使词序包含一些信息，但基于单词含义及词间关系的语义更重要。词汇在大脑中被丰富的内部结构所表征。随着我们对在深度学习网络中词汇如何表达语义有了更深入的了解，我们可能会开启一门新的语言学。就像大自然没有理由向我们揭示视觉的工作原理一样，也没有理由认为，我们对语言工作原理的直觉会更好。

我们来考虑一下，在对自然语言任务进行训练的模型网络中，单词的内部结构可能是什么样子。虽然网络可能是针对特定问题进行训练，但网络表征输入的方式可被用于解决其他问题。一个很好的例子就是训练一个网络，来预测句子中的下一个单词。在经过训练的网络中，单词的表征方式具有内部结构（以网络中所有单元的活动模式的形式），可以用来在单词对之间进行类比。^[12]例如，当这些活动模式被投影到一个平面时，连接国家和首都的矢量都是一样的。在没有任何关于首都城市意味着什么的监督信息的前提下（图17–4），网络学会了自动组织概念并隐式地学习它们之间的关系，这就表明，可以使用无监督学习从文本中提取国家和首都的语义。

图17-4 网络中单词的内部表征被用来训练预测句子中的下一个单词。每个单词都是网络活动的矢量，可以如上所示投影到二维平面上。箭头将国家连接到它们的首都。由于所有这些箭头彼此平行并且长度大致相同，所以单词对也以类似的方式表示。例如，如果你想查找不同国家的首都，可以将此箭头添加到该国家的矢量中，并检索出其首都的矢量。资料来源：T. Mikolov，I. Sutskever，K. Chen，G.Corrado and J. Dean，“Distributed Representations of Words and Phrasesand Their Compositionality”，图2。图片来源：杰夫·迪恩。

我在麻省理工学院的一次演讲中，开门见山地说道：“语言太重要了，不能只留给语言学家去研究。”^[13]我的意思是，我们不应该只停留在行为层面描述语言。我们应该理解语言背后的生物学原理和潜在的生物学机制，以及智人的语言能力是如何演变的。使用无创大脑成像，以及直接对癫痫患者的大脑活动进行记录，已经使这一想法成为可能。对大脑研究来说，同等重要的是通过比较人类大脑与黑猩猩和其他高等灵长类大脑的差异，来理解语言是如何形成的；相比在早期经过更加漫长的过程获得感觉运动技能，使用语言的能力发生在进化的某个瞬间。强大的基因工具将使我们能够剖析大脑的发育，并理解进化如何通过在发育中不断修正来形成我们先天的语言学习能力。

语言可以通过诉诸似是而非和源自无知的争论被用来进行误导和控制，这种无知会产生远远超出科学范畴的负面影响。历史上充斥着煽动者，当他们在想象力方面的匮乏被暴露出来，最终就会难逃被抛弃的命运。幸运的是，大脑存在的时间比语言要长很多，如果我们依赖于早在语言出现之前就进化出来的那部分大脑，肯定会从中受益。[14]

难预测的行为规律

回想起来，行为主义和认知科学在20世纪对行为的研究采取了相反的方式，但都犯了同样的错误，即忽视了大脑的重要性。行为主义者不希望被反思误导，所以他们认为不去大脑中寻求指导，实际上是一种荣耀。他们认为，通过仔细控制黑匣子的输入和输出，可以发现任何偶然事件的行为规律。“功能主义”的认知科学家拒不认可行为主义，并且相信他们可以发现思维的内在表征方式，但是因为他们也相信大脑如何实现这些表征的细节无关紧要，^[15]因此他们所开发的内部表征是基于不可靠的直觉和大众心理学。大自然比这两派都要聪明。

黑匣子的内部状态非常复杂，因此要发现内部表征和行为规律非常困难。如果有一天我们确实发现了行为规律，很可能会对它们进行功能性的描述，尽管这个描述可能和量子力学对于物理学家一样，是违反直觉的。想要发现行为规律，我们需要尽可能依赖大脑。深度学习网络是通过关注大脑结构的某些一般特征，以及大脑功能的一般原理来取得进步的范例。我毫不怀疑强硬的功能主义者会提出抗议，但我们需要前进，而不是墨守成规。在此过程的每一步中，添加来自大脑架构的一系列新特征都提升了深度学习网络的功能：皮层区域的层次结构，深度学习与强化学习在大脑中的耦合，循环皮层网络中的工作记忆，以及关于事实和事件的长期记忆，等等。我们还可以从更多的大脑计算原理中学习，并充分利用它们。^[16]

研究知觉、记忆和决策的神经科学家通常在他们的实验中使用基于试验的任务，在这些任务中，实验动物接受训练以对刺激产生期望的反应。经过数月的训练后，这些刺激驱动的反应变成了反射，而不是反思，这可以揭示习惯行为，而不是认知行为背后的机制。思考不是一种反射，它可以在没有任何感官刺激的情况下发生，但传统的实验设计方式忽略了在没有感官输入的情况下进行的自发活动。我们需要新的方法来研究与感官和运动无关的内部活动，其中包括有意识思考和无意识处理。出现了这样一种新的情况：大脑成像实验揭示了当人被放入扫描仪并被要求“休息”时，所自发产生的静息状态。当无所事事时，意识则表现为一种飘忽不定的模式，这是一种我们可以观察到但尚未理解的大脑活动。

脑成像，尤其是无创性功能磁共振成像（fMRI）开辟了研究社会互动和决策制定的新途径，形成了一个名为“神经经济学”的新领域。^[17]因为人类并不是经典经济学中经常假设的理性行为者，我们的判断和动机来自复杂的大脑内部状态，因此我们需要根据实际而非理想化的人类判断和动机，来建立一个行为经济学。^[18]正如第10章所述，多巴胺神经元通过表现奖励预测误差，对动机产生了强大的影响。针对社交互动的大脑成像，能够以纯粹的行为实验无法实现的方式探究人类的动机。我们的目标是用基于先前经验的概率决策理论，来取代基于逻辑的理性决策理论。

神经网络的寒冬

神经网络的早期历史，其实就是一个不大但颇具影响力的团队，如何能够将研究方向带离正轨的案例。在《感知器》这本书尾声部分，马文·明斯基和西摩尔·帕普特（图17–5）表达了这样的观点：感知器学习算法并不能扩展到多层感知器：

这个扩展问题不仅仅是技术问题，也是战略问题。尽管（甚至是因为）它有着严重的局限性，感知器已经显示出了研究价值。它具有很多引人注目的特点：线性，有趣的学习理论，清晰简单的范例适用于并行计算。但没有理由认为，这些特点中的任何一种会延续到多层次版本。尽管如此，我们仍然认为这是一个重要的研究课题，以阐明（或否决）我们对“其扩展是无所作为的”的直觉判断。我们也许会发现一些强大的收敛定理，或者相反地，我们会找到无法为多层机器研发有趣的“学习理论”的原_因。[19]

毫无疑问，其结果导致了网络学习领域的寸草不生。在明斯基和帕普特的书中，这种毫无根据的“直觉”（除此之外，这倒是一本好书）对神经网络学习的发展产生了令人不寒而栗的影响，让一代人的研究就此停滞不前。尽管我个人从这种停滞中受益，因为它使我的事业成为可能。但是我有机会在明斯基职业生涯后期，站在幕后洞察一切。

我被邀请参加2006年达特茅斯人工智能会议“AI@50”，回顾1956年在达特茅斯举行的开创性的人工智能夏季研究项目，并讨论人工智能的未来。^[20]1956年该项目的十位先驱中的五位出席了这次会议：约翰·麦卡锡（John McCarthy，斯坦福大学），马文·明斯基（麻省理工学院），特伦查德·摩尔（Trenchard More，IBM），雷·所罗门诺夫（Ray Solomonoff，伦敦大学）和奥利弗·赛弗里奇（OliverSelfridge，麻省理工学院）。无论从科学还是社交的角度来说，这都是一次引人入胜的会议。

卡内基–梅隆大学的金出武雄（Takeo Kanade）在他的演讲“人工智能视野：进步与非进步”（Artificial Intelligence Vision:Progress and Non-Progress）中指出，以今天的标准来看，20世纪60年代的计算机内存很小，并且一次只能保存一张图像。金出武雄在他1974年的博士论文中指出，尽管他的程序可以在一个图像中找到一辆坦克，但是在其他图像中，如果坦克处于不同的位置并且光照不同，则很难得到同样的结果。但是，当他早期的学生毕业时，因为电脑更强大，他们设计的程序可以在更普遍的条件下识别坦克。今天，他学生的程序可以识别任何图像中的坦克。不同之处在于，今天我们可以访问数以百万计的图像，可以对各种姿态和光照条件进行取样，而且计算机的功能更是强大了数百万倍。

麻省理工学院的罗德尼·布鲁克斯在他的题为“智能与身体”（Intelligence and Bodies）的演讲中，讲述了他在建造爬行和漫步机器人方面的经验。智能在大脑中进化以控制运动，并且身体逐渐发展为通过智能与世界互动。布鲁克斯放弃了机器人专家使用的传统控制器，并将行为，而非计算，作为设计机器人的参考。随着我们对如何搭建机器人的了解更加深入，会更清楚地认识到身体是意识的一部分。

在“为什么自然语言处理现在是统计自然语言处理”（WhyNatural Language Processing is Now Statistical NaturalLanguage Processing ） 的 演 讲 中 ， 欧 仁 · 查 尼 阿 克 （ EugeneCharniak）解释说，语法的基本作用是在句子中标记词类。人类接受这方面训练后，会比现有的解析程序做得更好。计算语言学领域最初试图应用诺姆·乔姆斯基在20世纪80年代首创的生成语法（generative grammar）方法，但结果令人失望。最终被证明可行的办法是，聘请布朗大学的学生为《华尔街日报》上千篇文章的词类进行手写标注，然后应用统计技术，根据相邻单词来确定特定单词的词类。这一过程需要大量的例子，因为大多数单词有多重含义，每个单词对应许多不同的上下文。目前，在句子中对词类进行自动标记，已经成为可以利用机器学习来解决的问题。

这些成功的故事有一个共同的轨迹。过去，电脑速度很慢，只能用少数几个参数来探索一个玩具模型。但是这些玩具模型无法适用于现实世界的数据。当拥有了大量数据，并且计算机速度也更快时，就可以创建更复杂的统计模型，并提取更多特征和特征之间的关系。深度学习使这一过程实现了自动化。深度学习可以从非常大的数据集中提取特征，而不是让领域专家为每个应用程序手动创建这些特征。随着计算取代了劳动力并不断变得更廉价，计算机将能够执行更多劳动密集型的认知任务。

在会议结束时的总结性发言中，马文·明斯基一开始就表示，他对演讲和AI的研究方向感到失望。他解释道：“你们不是在解决通用的智能问题。你们只是在解决具体的应用问题。”这次会议应该是对我们所取得的进展的一次庆祝，但是却被他的指责打击了。我做的演讲是关于强化学习的进展，并展示了TD-Gammon通过训练，能在西洋双陆棋中表现出冠军水平的显著成果。不过我的演讲并没有给他留下深刻的印象，他始终认为，那只是一个游戏罢了。

明斯基的“通用的智能”意味着什么呢？他在其著作《心智社会》（The Society of Mind） ^[21]中提到，前提是通用的智能来自简单媒介之间的相互作用。明斯基曾经说过，有关他的理论的最大想法，是来源于试图创建一台使用机器人手臂、摄像机和计算机的机器，可以用儿童的积木构建一个结构（图2–1）。^[22]这听起来很像一个应用。一个具体的应用会迫使你专注于并深入到最底层问题，而抽象理论化的方法则不能。演言人在达特茅斯会议上所报告的成就，来自对具体问题的深入了解，为更全面的理论理解铺平了道路。也许，一个更好的通用智能理论有一天会从这些狭隘的AI成就中浮现出来。

我们的大脑不只是凭空产生抽象的想法。它们与我们身体的所有部位密切相连，而我们的身体又通过我们的感官输入和运动效应器与外界密切相连。生物智能因此而具体化。更重要的是，我们的大脑在与外界互动的同时，经历了一个漫长的成熟过程。学习是一个与发育同时进行的过程，并且在我们达到成年后仍然会持续很长一段时间。因此，学习对于通用智能的发展至关重要。有趣的是，人工智能中最难解决的问题之一是常识，显然这是儿童并不具备的，只有在长期与外界接触后，大多数成人才会获得常识。人工智能中经常忽略的情绪和通感也是智能的一个重要方面。^[23]情绪是个整体信号，可以使大脑为不能由局部大脑状态决定的行动做好准备。

AI@50的最后一天举行了宴会。在晚餐结束时，1956年达特茅斯人工智能夏季研究项目的5名回归成员简要介绍了会议和人工智能的未来。在问答期间，我站起来，转向明斯基说道：“神经网络社区有一种看法：你是上世纪70年代需要为神经网络萧条负责的魔鬼。你是魔鬼吗？”明斯基发起了一场关于我们如何不理解我们网络的数学局限性的长篇大论。我打断了他：“明斯基博士，我问的是一个是或否的问题。你是，还是不是？”他犹豫了片刻，然后喊道：“是的，我是魔鬼！”

1958年，弗兰克·罗森布拉特制造了一个模拟计算机，被设计用来模拟感知器，因为当时数字计算机在模拟计算密集度高的网络模型时速度很慢。到了20世纪80年代，计算机的计算功能大大提升，让我们能够通过模拟小型网络来探索学习算法。但直到2010年，才有足够的计算机能力将网络规模扩大到可以解决实际问题的程度。

明斯基在1954年从普林斯顿大学获得数学博士学位，他的论文是关于用神经网络进行计算的理论和实验研究。他甚至用电子部件构建出了小型网络，以了解它的行为。当我还是普林斯顿大学物理系的研究生时，就听说数学系里没有人有资格评审他的论文^[24]，所以人们把它发给了普林斯顿高等研究院的数学家们，据说他们能与上帝交谈。回复的评论是，“如果这在今天不是数学，未来总有一天会是。”这足以为明斯基赢得他的博士学位。而神经网络确实引发了一类新的数学函数，这些函数激发了新的研究，并正在成为数学的一个新分支。年轻的明斯基超越了他的时代。

从深度学习到通用人工智能

马文·明斯基于2016年去世，他坚信神经网络无法实现通用的人工智能。斯蒂芬·沃尔夫勒姆在一篇关于他与明斯基友谊的文章中关切地写道：“虽然我认为没有人能在当时就预见到，但我们现在知道，马文早在1951年就已经在研究的神经网络，在朝着他所希望的那种令人叹为观止的AI能力发展的正确道路上前进。可惜这个过程太久了，马文几乎没能看到它的实现。”^[25]

明斯基去世后不久，DeepMind的研究人员艾历克斯·格雷夫斯（Alex Graves）和格雷格·韦恩（Greg Wayne）通过添加动态外部存储器，实现了基于深度学习的通用人工智能的下一步。^[26]活动模式在深度循环神经网络中只能被暂时存储，这就很难对推理和推断进行模拟。通过在网络中添加一个稳定的存储器，可以像数字计算机内存一样灵活地写入和读取，研究人员展示了一个训练好的强化学习网络，可以回答需要推理的问题。例如，一个这样的网络对伦敦地铁路线做出了合理的规划，另一个则回答了关于家谱中成员关系的问题。动态记忆网络（Dynamic Memory Networks）也能够掌握20世纪60年代对麻省理工学院人工智能实验室提出挑战的“积木世界”任务（图2–1）。这就带我们回到了第2章开始的地方。

弗朗西斯·克里克于2004年去世，此后不久，莱斯利·奥格尔在2007年也去世了，这标志着索尔克研究所一个时代的终结。现在这些科学巨人已经不在我们身边了，而新一代的学者仍在向前迈进。我在索尔克研究所工作了30年，相当于它一半的寿命。我们的大家庭组建于1960年，所有的教职工都在同一条小船上。“索尔克号”很小，小到每个人都认识对方。但即使在今天，我们有了1000人的团队，它仍然会带给我们一种家的感觉，也证明了这个机构文化的持久性。

我们是一个伟大的生物链（可以回溯到细菌出现之前）中的一员。现在我们已经到了理解大脑以及它们是如何发展的边缘，这将会是一个奇迹，能够永远改变我们对自己的看法。