AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

本章要点

01 智能是个手提箱

对于任何谈论人工智能的人来说，定义“人工智能”都是一个挑战，因为人工智能的核心概念—— 智能，仍然没有明晰的定义。针对类似“智能”及其引申词，如“思想”“认知”“意识”“情感”这样的词语，明斯基创造了“手提箱式词汇”这一术语，其意思是：每个词语就像是打包封装了不同含义的手提箱。人工智能就经过了“打包”，在不同的上下文中承担不同的含义。

大多数人会认同人类是智能的，而尘埃颗粒不是。同样的道理，我们普遍认为人类比虫子更加智能。对于人类智能，智商是在单一尺度上衡量的，但我们也会探讨智能的不同维度，如情感、语言、空间、逻辑、艺术、社交等。因此，智能的定义可能是二元的（一个物体是或不是智能的）、在一个连续统上的（一个物体比另一个物体更智能），或者是多维的（一个人可以具有高语言智能和低情感智能）。确实，“智能”这个词语是一个满载的手提箱，而拉链就在随时可能撑破的边缘上。

从神经网络到机器学习_，谁都不是最后的解药

多层神经网络这一被明斯基和佩珀特所摒弃的、认为很有可能“不育的”带有扩展层的感知机，事实证明反而成了现代人工智能的基础。由于它是我在后续章节中描述的多种方法的基础，所以我在这里花一些篇幅来讲述这些网络是如何工作的。

多层神经网络_，识别编码中的简单特征

网络是以多种方式相互连接的一组元素的集合。我们都对社交网络很熟悉，社交网络的元素是人，而计算机网络中的元素自然是计算机。在神经网络中，这些元素是模拟神经元，类似于我在前一章中描述的感知机。

在图2-1中，我画了一个简单的多层神经网络的草图，这个多层神经网络用于识别手写数字。网络由两列（层）类似感知机的模拟神经元（图中圆圈）组成。为了简单起见，我将使用“单元”而非“模拟神经元”这个术语来描述网络中的元素。与第01章中检测数字8的感知机一样，该神经网络有

02

324（18×18）个输入，每个输入都设置为输入图像中相应像素的像素强度。与前文中的感知机不同的是，这个网络有一层是由3个所谓的“隐藏单元”（hidden unit）组成的隐藏层，随后是一个由10个单元组成的输出层，每个输出单元对应一个可能的数字类别。

图中的灰色箭头表示输入单元与每个隐藏单元之间都有一个加权连接，每个隐藏单元与每个输出单元之间都有一个加权连接。这个听上去很神秘的术语“隐藏单元”表示的是一个非输出单元，所以，称之为“内部单元”（interior unit）可能更好。

想象一下你的大脑结构，其中有一些神经元直接控制“输出”，如肌肉运动，但大部分神经元只与其他神经元互相传递信息，这些神经元被称为大脑的隐藏神经元。

图2-1中的网络被称为多层神经网络，因为它包含两层结构，即一个隐藏层和一个输出层，而非仅有一个输出层。原则上，多层神经网络可以有多层隐藏单元，具有多于一层隐藏单元的网络被称为“深度网络”（deep networks）。网络的深度就是其隐藏层的数量。在接下来的章节中，我还会介绍更多有关深度网络的内容。

与感知机类似，多层神经网络中的每个单元将它的每个输入乘以其权重并求和，但是，与感知机不同的是，这里的每个单元并不是简单地基于阈值来判断是“激活”还是“不激活”（输出1或0），而是使用它求得的和来计算一个0～1之间的数，称为激活值。如果一个单元计算出的和很小，则该单元的激活值接近0；如果计算出的和很高，则激活值接近1。 ¹

为了处理图2-1中手写数字8这样的图像，网络从左向右逐层执行计算，每个隐藏单元计算其激活值，然后这些值又成为输出单元的输入，输出单元据此计算自己的激活值。在图2-1的多层神经网络中，输出单元的激活值可以理解为多层神经网络对“看到”相应数字的置信度，具有最高置信度的数字类别被认为是它的答案——它给出的分类。

原则上，多层神经网络能够学会使用其隐藏单元来识别更为抽象的特征，例如，一个手写的8的上半部分和下半部分这种形状。它要比像素这种简单特征抽象得多。通常情况下我们很难提前知道，对于一个给定的任务，一个神经网络到底需要多少层隐藏单元，以及一个隐藏层中应该包含多少个隐藏单元才会表现更好，大多数神经网络研究人员采用试错的方式来寻找最佳设置。

无论有多少输入与输出_，反向传播学习都行得通

在《感知机》一书中，明斯基和佩珀特对于是否能够设计出一种成功的、用来学习多层神经网络权重设置的算法持怀疑态度，符号人工智能阵营的其他人也持此态度。他们的怀疑在很大程度上导致了20世纪70年代神经网络研究经费的大幅减少。尽管明斯基和佩珀特的书对这一领域产生了冷却性的影响，但神经网络研究领域的一小部分核心群体仍然坚持了下来，特别是在罗森布拉特的认知心理学领域。到了70年代末和80年代初，这些研究小组中的一些人开发了一种名为“反向传播”（back-propagation）的通用学习算法来对网络进行训练，有力地驳斥了明斯基和佩珀特对于多层神经网络“不育性”的猜测。

顾名思义，反向传播算法是一种对输出端观察到的错误进行反向罪责传播，从而为网络中的每个权重都分配恰当罪责的方法。反向罪责传播是指，从右向左追溯罪责源头。这使得神经网络能够确定为减少错误应该对每个权重修改多少。神经网络中所谓的学习就是逐步修改连接的权重，从而使得每个输出在所有训练样本上的错误都尽可能接近于零。反向传播算法的数学实现过程

超出了我在这部分内容的讨论范围，但我在注释中介绍了它的一些细节。 ²

无论神经网络有多少个输入单元、隐藏单元和输出单元，反向传播都能行得通，至少原则上如此。尽管没有数学证明可以保证反向传播算法能为网络选定正确的权重，但事实上反向传播算法在许多对于简单感知机来说很难的任务上都表现得非常好。例如，我同时对一个感知机和一个两层神经网络在手写数字识别任务上进行训练，两者都有324个输入和10个输出，并采用60 000个样本进行训练，然后在10 000个新样本上测试两者的表现。感知机对新样本的识别正确率大约是80%，而带有50个隐藏单元的神经网络对新样本的识别正确率则达到了94%。向隐藏单元致敬！神经网络究竟学到了什么，使它能够超越感知机这么多？我不知道。或许我可以找到一种探测这个神经网络上的16 700个权重 ³ 的方法，从而对它的性能获得一些洞察，但一般来说，想要理解这些网络如何做出决定是非常困难的。

请务必注意，神经网络不仅可以被应用于图像，也可以被应用于任何领域、任何类型的数据，如语音识别、股市预测、语言翻译和音乐创作等。

联结主义_：智能的关键在于构建一个合适的计算结构

20世纪80年代，最引人注目的神经网络研究小组是加州大学圣迭戈分校的一个团队，由心理学家大卫·鲁梅尔哈特（ David Rumelhart ） 和 詹 姆 斯 · 麦 克 莱 兰 德 （ JamesMcClelland）带领。我们现在所说的神经网络，在当时一般被称作“联结主义网络”，其中“联结主义”（connectionist）这个术语指的是：这些网络上的知识存在于单元之间的加权连接中。鲁梅尔哈特和麦克莱兰德所带领的团队以撰写了联结主义的“圣经”而闻名，这是一部两卷本的专著，于1986年出版 ， 名 为 《 并 行 分 布 式 处 理 》 （ Parallel DistributedProcessing ）。在由符号人工智能主导的人工智能版图中，这本书为亚符号化研究方法的支持者鼓舞了士气，并提出了这样的观点：“人类比当今的计算机更聪明，是因为人的大脑采用了一种更适合于人类完成他们所擅长的自然信息处理任务的基本计算架构，例如，‘感知’自然场景中的物体并厘清它们之间的关系……理解语言，并从记忆中检索上下文恰当的信息。” ⁴ 该书的作者推测：明斯基和佩珀特所青睐的这类符号系统是无法获得这些人类所拥有的能力的 ⁵ 。

确实，到20世纪80年代中期，依赖人类创建并反映特定领域专家知识规则的符号人工智能方法——专家系统，越来越暴露出自身的脆弱性：容易出错，且在面对新情况时往往无法进行一般化或适应性的处理。在分析这些系统的局限性时，研究人员发现，编写规则的人类专家实际上或多或少依赖于潜意识中的知识（常识）以便明智地行动。这种常识通常难以通过程序化的规则或逻辑推理来获取，而这种常识的缺乏严重限制了符号人工智能方法的广泛应用。简而言之，在经历了过度承诺、巨额的资金支持和媒体炒作的一轮周期之后，符号人工智能又将面临另一个人工智能的寒冬。

根据联结主义的支持者的观点，智能的关键在于构建一个合适的计算结构以及系统来获得从数据或现实世界的行为中进行学习的能力，这是受到了大脑的启发。鲁梅尔哈特、麦克莱兰德及其团队构建了软件形式的联结主义网络来作为人类学习、感知和语言发展的科学模型。虽然这些网络并没有表现出任何接近人类水平智能的特点，但《并行分布式处理》和其他文献描述的多种多样的网络就像人工智能工艺品一样有趣，并引起了包括资助机构在内的多方面的注意。

1988年，提供了绝大部分人工智能研究资助的美国国防部高级研究计划局（DARPA）的一位高级官员宣称：“我相信我们即将着手研究的这项技术（即神经网络）比原子弹更重要。”⁶ 突然之间，神经网络又流行起来了。

亚符号系统的本质_：不擅长逻辑_，擅长接飞盘

在过去60多年的人工智能研究中，人们围绕符号和亚符号方法的相对优势进行了大量的讨论。符号系统可以由人类设计，被输入人类知识，并使用人类可理解的逻辑推理来解决问题。例如，一个于20世纪70年代早期开发的专家系统“MYCIN”，被给定了大约600条规则，用于帮助内科医生来诊断和治疗血液疾病。设计MYCIN的程序员在与内科医学专家经过辛苦面谈后开发了这些规则。针对一个病人的症状和医学检测结果，MYCIN能够同时对规则进行逻辑推理和概率判断来做出诊断，并能够解释其推理过程。简而言之，MYCIN是符号人工智能的一个典型范例。

相比而言，正如我们所看到的那样，亚符号系统往往难以阐释，并且没人知道如何直接将复杂的人类知识和逻辑编码到这些系统中。亚符号系统似乎更适合那些人类难以定义其中规则的感知任务。例如，你很难写出能够完成识别手写数字、接住棒球或识别你母亲声音等任务的规则，而你基本上是连下意识的思考都没有经过就自动完成了这些事情。正如哲学家安迪·克拉克（Andy Clark）所说，亚符号人工智能系统的本质是“不擅长逻辑，擅长接飞盘 ⁽¹⁵⁾ ” ⁷ 。

那么，我们完全可以用符号系统来完成类似于语言描述和逻辑推理的高级任务，而用亚符号系统来完成诸如识别人脸和声音这样的低级感知任务。在某种程度上，人工智能领域的研究者到目前为止就是这么做的，但这两个领域之间几乎没有任何联系。这两种方法都曾在其各自细分的领域里获得了重要的成功，但对于实现人工智能的最初目标还有很大的局限性。尽管已经有一些融合符号和亚符号系统来构建混合系统的尝试，但至今还未取得任何显著的成功。

机器学习_，下一个智能大变革的舞台已经就绪

在统计学和概率论的启发下，人工智能领域的研究者开发了一系列能够使计算机从数据中进行学习的方法，并且为了与符号人工智能区分开来，机器学习成了人工智能领域一个独立的分支学科。机器学习的研究者轻蔑地将符号人工智能方法称为“普通的、过时了的人工智能”（good old-fashioned AI，GOFAI） ⁸ ，并对其全面排斥。

在接下来的20年里，机器学习也经历了充满乐观、政府资助、创业公司纷纷涌现，然后是过度承诺，再接着是不可避免的行业寒冬的周期。考虑到当时可用的数据量和计算机的算力非常有限，用训练神经网络及其类似方法来解决现实世界的问题可能会极其缓慢，并且往往效果不好；但是，更多的数据和更强的算力很快就会来临，互联网数据的爆炸式增长和计算机芯片技术的飞速发展将会确保这点。下一个人工智能大变革的舞台已准备就绪。