人工智能时代：破解人机共存密码（套装共10册）

马尔可夫网络在许多领域中能起到主要作用，例如，计算机视觉。举个例子，一辆无人驾驶车辆需把看到的每张图片分成道路、天空、村庄三个部分。有一个选择就是根据其颜色，将每个像素标记为三个部分中的一个，但这种选择不够好。图片充满嘈杂因素和变量，车辆会出现幻觉，想象道路旁布满岩石，还有天空中出现的一段段公路。但是我们知道，图片中近似的像素通常属于同一物体，而我们可以引入相应的一组特征：对于每一对相邻像素，如果它们属于相同物体，则特征是真的，否则是假的。现在有大段连续街区公路和天空的图片比没有这些的图片更有可能，并且车会直走，而不是不断左右转向来避开想象中的岩石。

马尔可夫网络可以经过训练，来最大化整个数据的可能性，或者在知道某些信息的情况下，将我们想预测的事情的可能性最大化。对于Siri来说，整个数据的可能性是P（单词、声音），而我们感兴趣的条件可能性是P（单词|声音）。通过优化后者，我们可以忽略P（声音），因为这个概率只会使我们偏离目标。既然我们忽略它，它可以是任意复杂的。这比HMM不切实际的猜想要好得多：声音只依赖于对应的单词，不会受到周围环境的任何影响。实际上，如果Siri的所有关心找出你刚才说的话，可能它甚至就不用担心概率问题了。它只要确保在计算它们特征权值的总和时，正确单词的得分会比错误单词的得分高，而且为了保险，要高出很多。

类推学派用这种推理方式得出其逻辑结论，正如我们在第七章将看到的那样。在21世纪的前10年，他们反过来接管NIPS。现在联结学派打着深度学习的旗号再次占据主导地位。有些人说研究总是处于循环状态，但它更像一个螺旋，闭环沿着前进的方向绕。在机器学习中，螺旋会收敛至终极算法。

逻辑与概率_：一对不幸的组合

你可能认为贝叶斯学派和符号学派相处得很好，因为考虑到他们都相信学习的第一原理方法，而不相信自然启发的方法。事实远不是这样，符号学派不喜欢概率，而且会开这样的玩笑：“换个电灯泡需要多少个贝叶斯学者？他们不确定。细想一下，原来他们是不确定灯泡是不是烧坏了。”更严肃地说，符号学派指出我们因为概率而付出的高昂代价。推理突然变得更加珍贵，所有那些数据都变得难以理解，我们得处理好先验概率，一大批“僵尸”假设会永远追着我们。短时间内将分散知识集中起来的能力，对于符号学派来说是多么重要，却已经消失。最糟糕的是，我们不知道如何对自己想学习的很多东西进行概率分配。贝叶斯网络是在变量的一个矢量上的分布，但在网络、数据库、知识库、语言、计划、计算机程序上的分布呢？所有这些在逻辑中都易于处理，而无法掌握它们的算法明显就不是终极算法。

反过来，贝叶斯学派指出了逻辑的脆弱性。如果我有一条规则，如“鸟会飞”，没有哪个世界会存在不会飞的鸟。如果我想补充一下，加上例外条件，例如，“鸟会飞，除非它们是企鹅”，那么这些例外条件永远都说不完（鸵鸟呢？笼中鸟呢？死鸟？断了翅膀的鸟？翅膀湿了的鸟？）。有个医生诊断你得了癌症，而你想听不同的意见。如果第二个医生不同意，你就陷入困境了。你无法权衡这两种观点，只能两个都相信。然后发生了一场灾祸：猪会飞，永恒运动成为可能，而地球则不再存在，因为在逻辑当中，任何事都可以从矛盾中推理出来。再者，如果知识是从数据中掌握得来的，那么我就无法肯定它是对的。为什么符号学派却假装肯定？无疑休谟会对这样漫不经心的态度感到不满。

贝叶斯学派和符号学派一致认为，先验假设不可避免，但对于他们认可的先验知识种类却存在分歧。对于贝叶斯学派来说，知识越过模型的结构和参数，进入先验分布中。原则上，之前的参数可以是任意我们喜欢的值，但讽刺的是，贝叶斯学派趋向于选择信息量不足的先验假设（比如将相同概率分配给所有假设），因为这样更易于计算。在任何情况下，人类都不是很擅长估算概率。对于结构这方面，贝叶斯网络提供直观的方法来整合知识：如果你认为A直接引起B，那么应把箭头从A指向B。但符号学者则要灵活得多：作为先验知识，你可以为自己的学习算法提供任何能用逻辑编码的东西，实际上，所有东西都可以用逻辑编码，只要它是黑白色的。

显然，我们既需要逻辑，也需要概率。治愈癌症就是一个很好的例子。贝叶斯网络可以从单个方面模仿细胞如何起作用，就像基因调节和蛋白质折叠那样，但只有逻辑可以将所有碎片组合到一张连贯的图片中。此外，逻辑无法处理不完整或包含嘈杂因素的信息，这在实验生物学中较普遍，但贝叶斯网络可以沉着地处理这个问题。

贝叶斯学习能对单个数据表起作用，表中的每列表示一个变量（例如，一个基因的表达水平），而每行表示一个实例（例如，一个微阵列实验，包含每个基因被观察到的水平）。如果表格有“漏洞”和测量误差，不要紧，因为我们可以利用概率推理来弥补漏洞，然后对误差取平均值。但如果我们拥有的表格超过一个，那么贝叶斯学习就会停滞不前。例如，它不懂如何将基因表达的数据与DNA片段转译成蛋白质的数据结合起来，也不知道那些三维形状的蛋白质如何反过来使它们锁定到DNA分子的不同部分中，同时影响其他基因的表达。利用逻辑，我们可以轻易地写出与所有这些方面相关的规则，然后通过结合相关表格来对它们进行学习，但唯一的条件就是表格没有任何漏洞或者误差。

将联结学派和进化学派结合起来很简单：只要改善网络结构，利用反向传播来掌握参数。但将逻辑和概率统一起来要困难得多。最早尝试这么做的人是莱布尼茨，他是逻辑和概率的开拓者。还有一些19—20世纪最伟大的哲学家和数学家，比如乔治·布尔和鲁道夫·卡尔纳普，他们都努力想解决这个问题，但最终没有走得很远。最近，计算机科学家和人工智能研究人员加入了这场争论。随着21世纪的到来，我们取得的最好成果也是不完整的，比如将一些逻辑结构加入贝叶斯网络中。多数专家相信，将逻辑和概率相统一是不可能的。寻求一个终极算法的前景并不乐观，特别原因在于，当前进化学派的和联结学派的算法无法处理不完整的信息和多数据组。

幸运的是，我们已经攻克了这个难题，而终极算法现在看起来离我们更近了。在第九章中，我们会看到人类是如何做到这一点的，并做出推断。首先，我们要找到已丢失的那张很重要的拼图：如何学习小数据。在当下数据洪流的背景下，可能这显得没有必要，但实际上我们常常会发现，自己有很多关于要解决问题的数据，而关于其他问题的数据则几乎没有。这是机器学习中最重要的思想之一流行起来的原因：类比思想。到目前为止，我们谈到的所有学派有一个共同点：他们都学习研究中的现象的显式模型，无论它是一组规则、一个多层感知器、一个基因计划，还是一个贝叶斯网络。当他们没有足够的数据来做这件事时，就会被难住。但类比学派可以从甚至小到一个例子的数据中学习，因为他们绝不会形成一种模式。下面，让我们看看他们是怎么做的。

第七章类推学派：像什么就是什么

弗兰克·阿巴内尔是历史上最臭名昭著的骗子之一，莱昂纳多·迪卡普里奥曾在斯皮尔伯格的电影《逍遥法外》中饰演阿巴内尔。他伪造价值数百万美元的支票，冒充律师和大学讲师的身份，并以泛美航空飞行员的假身份环游世界，这些都发生在他21周岁之前。也许他最令人吃惊的“事迹”，就是在20世纪60年代的亚特兰大成功假扮医生将近一年之久。行医应该需要在医学院学习多年，要有执照、实习期等诸如此类的东西，但阿巴内尔成功避开所有这些细节，而且从未被人发现。

想象一下如何去冒这个险。你偷偷摸摸进入医生不在的办公室，不久后有个病人走进来，并把他所有的症状都告诉了你。现在你得给他诊断，除非你对于药物一窍不通。你只有一柜子的病人资料：他们的症状、诊断结果、接受过的治疗等。你该怎么办？最简单的办法就是找到和现在这个病人症状最相似的病人的资料，然后做相同的诊断。如果你对待病人的态度和阿巴内尔一样有说服力，那么可能会成功。在医学之外，同样的思想也很适用。如果你是一名年轻的总统，面临世界危机，就像肯尼迪当年一样，当时美国的一架间谍机报告，苏联的核导弹被部署在古巴，你很有可能因为经验不足而措手不及。你可以找历史上与当前情况相似的场景，然后尝试从这些场景中吸收经验。参谋长联席会议敦促对古巴进行袭击，但肯尼迪那时刚读过《八月炮火》，这是一本描写第一次世界大战的畅销书，所以他知道那样做很容易会引发全面战争。所以他选择了对古巴进行海上封锁，也许这样做把世界从核战争中拯救出来了。

类比是推动许多历史上最伟大科学进步的动力。当达尔文阅读马尔萨斯的《人口论》时，被经济和自然界中生存竞争的相似性触动，所以有了自然选择理论的诞生。波尔的原子核模型是由将模型看作微型太阳系、将电子看作行星、将原子核看作太阳而产生的。克库勒也是白天做梦梦见蛇吃自己的尾巴才发现苯分子的环状结构的。

类比推理有着突出的知识谱系。亚里士多德在他的相似律中就表达了这一点：如果两个事物相似，其中的一个想法会触发另外一个想法。诸如洛克和休谟之类的经验主义者就追随这个规律。尼采说，真理是一支由暗喻拟人组成的队伍。康德也是其中的信奉者。威廉·詹姆斯认为：“这种意义上的一致性是我们思想的支柱。”一些当时的心理学家甚至认为从整体上看，人类认知是分析必不可少的部分。我们依靠它来找到通往新城市的道路，并理解诸如“领悟”“形象高大”之类的表达。那些十几岁、喜欢说话时在每个句子中加入“像”的人也许喜欢且认为类别是重要的。

考虑到这一点，类比在机器学习中扮演重要角色就不足为奇了。刚开始它进展缓慢，甚至被神经网络夺走了光芒。它的第一个算法的化身出现在一份写于1951年、名不见经传的技术报告中，作者是两位伯克利的统计学家——伊夫琳·菲克斯和乔·霍奇斯。这篇报告几十年之后才发表于主流期刊中。但同时，关于菲克斯和霍奇斯的算法的论文也开始出现，后来逐渐增加，直到它成为计算机科学界中受到研究最多的文章之一。最近邻算法，正如其名，是我们类比学习法之旅的第一站。第二站是支持向量机，这是世纪之交风靡机器学习领域的原理，但最近风头被深度学习掩盖。第三站也是最后一站，是成熟的类比推理法，几十年来是心理学和人工智能的重要组成部分，也是几十年来机器学习领域的背景主题。

5个学派中，类推学派是最不具有凝聚力的一个学派。不像其他学派有很强的身份意识和共同理想，类推学派则更像研究人员松散的集合体，他们的统一依靠的是对于作为学习基础的、相似性判断的信任。一些人，比如支持向量机的支持者甚至可能会反对将自己归入这个范畴。但我认为如果人们能为共同的事业而努力，会受益很多。在机器学习中，相似性是核心思想之一，而类推学派会以各种伪装的方式来保护它。也许在未来10年，机器学习会被深度类比统治，在某种算法中，与最近邻法的高效、支持向量机的数学精密性、类比推理的力量和灵活性结合（瞧，我又泄露了自己的一个秘密研究计划）。

完美另一半

最近邻算法是人类有史以来发明的最简单、最快速的学习算法。实际上，你甚至可以说，这是人类可以发明的最快速的算法。它可以说什么也不做，所以花在运行上的时间为零。再没有比这个更好的了。如果想掌握面部识别技巧，且有大量标有脸部或非脸部标签的图片，你只需让算法待在那儿就好。别担心，高兴起来吧。在不知道的情况下，那些图片已经暗中形成关于“什么是脸”的模型。假设你是脸书，想在照片上自动识别人脸，人们上传这些照片，就是用朋友的名字来标记这些照片的前奏。不用做什么是一件好事，只要脸书用户每天上传超过3亿张照片就可以了。将目前为止我们见过的学习算法

（可能要排除朴素贝叶斯法这个例外）应用到这些照片上，可能需要一卡车计算机，而贝叶斯算法的智能程度还不足以用来识别脸部。

当然，这是要付出代价的，这个代价在测试时会出现。名叫简的用户刚上传一张新的照片。这是一张脸吗？最近邻算法的回答是：在脸书所有标记过的照片库中，找到那张和这张最相似的照片（它的“最近邻”）如果那张照片包含一张脸，这张也会有。这足够简单，但理想的情况下，你得在不到一秒的时间内浏览近几十亿张照片。就像一个不想为考试而学习的懒学生，最近邻算法此时猝不及防，不得不断断续续地运行。不像在现实生活中，你的妈妈会跟你说不要把今天可以做的事留到明天，在机器学习中，拖延真的可以带来成功。实际上，学习的整个风格（最近邻算法是其中一种）有时会被人们称为“懒惰学习算法”，在这种情况下，这个术语并没有什么贬义。

懒惰学习算法之所以比它表面看起来更加智能，是因为虽然它的模型是隐性的，但其实它可以很复杂。考虑到极端的情况下，每个等级我们只能有一个例子。例如，我们想知道两个国家的边界在哪里，但我们知道的仅仅是其首都的位置。多数学习算法可能会被难住，但最近邻算法会恰当地猜出，边界会是一条线，位于两个城市的中间位置（见图7–1）。

边界上的点距离两个首都的距离都一样，边界线左边的点距离Positiville市较近，因此最近邻算法假定这些点是Posistan国的一部分，反之亦然。如果那条线就是准确的边界，当然是万幸，但作为一种近似法，很有可能这条线什么也不是。当我们知道边界线两边都有很多城市时，事情才真正变得有趣起来（见图7–2）。

最近邻算法可以暗中形成一条非常复杂的边界线，虽然它所做的只是记住每个城市的位置，然后将这些点相应地分给每个国家。我们可以将城市的“城域”看作那些最靠近该城市的点，城域之间的界线在图中用虚线来表示。现在Posistan只是它的所有城市城域的集合，和Negaland一样。相反，决策树（举个例子）也许只会形成不是南北向就是东西向的边界，可能更不利于找到真正的边界。因此，虽然决策树算法“愿望更加强烈”，在学习期间很努力地想弄明白边界线的位置，但“懒惰的”最近邻算法实际上最后会胜出。