人工智能时代：破解人机共存密码（套装共10册）

起床啦

认知科学见证了符号学派与类推学派之间很长一段时间的争论。符号学派指向他们能够模仿但类推学派无法模仿的东西；接着类推学派弄明白如何做到这一点，然后想出他们能够模仿但符号学派无法模仿的东西，这个循环一直重复下去。基于实例的学习——有时人们这样称呼它，应该更有利于模仿我们如何记住生活中的特定片段；规则是包含抽象概念（如“工作”“爱”）推理的假定选择。但我在读研究生时，觉得这两者真的只是连续区间中的点，而我们应该能够掌握它的所有方面。实际上，规则就是概括的实例，这种情况下我们已经“忘记”一些属性，因为它们并不重要。相反，实例则是非常特殊的规则，每种属性都会有一个条件。在我们的一生中，相似的片段会渐渐被抽象成基于规则的结构，比如“在餐馆吃饭”。你知道去餐馆会涉及从菜单里点菜和给小费，而每次你出去吃饭的时候，都会遵守这些“行为准则”，但你可能不记得自己意识到这些准则时的第一家餐厅。

在博士论文中，我设计了一种算法，以这种方式来将基于实例的学习和基于规则的学习结合起来。一条规则不会只和满足它所有先决条件的实体匹配，与任何其他规则比，它会与其更加相似的实体匹配。在这个意义上讲，它会更接近于满足它的条件。例如，胆固醇浓度为220毫克/分升的人，会比浓度为200毫克/分升的人更加符合以下规则：如果胆固醇浓度超过240毫克/分升，你会有心脏病发作的风险。RISE是我称呼该算法的名字，通过以每个训练实例作为开始来学习，然后渐渐概括每个例子，以吸收最近的例子。最终的结果通常是通则的结合，这些通则会在它们之间和多数例子匹配，越来越多的特殊规则用来将例外规则与那些规则匹配，直到到达特定记忆的“长尾”上。RISE比当时最好的规则和实例学习算法预测得还要准确，而我的实验也表明，准确地说，这是因为它结合了两者的最佳特征。规则可以类推地进行匹配，所以它们不会再那么脆弱。实例可以选择空间中不同区域的不同特点，然后比最近邻算法更能与维数灾难相抗衡，而最近邻算法只能到处选择相同的特征。

RISE是通往终极算法的一个步骤，因为它将符号与类比学习结合起来了。然而这只是小小的一步，因为它不具备这两个范式的全部能力，仍缺少其他三个范式的能力。RISE的规则无法以不同的方式连接起来，每个规则只能直接从其属性中预测例子的类别。另外，这些规则无法一次讨论一个以上的实体；例如，RISE无法表达这样的规则：如果A得了感冒，而B与A有接触，那么B也可能会得感冒。在类比这边，RISE仅仅概括了简单的最近邻算法，它无法利用结构映射或者某个这样的策略来进行跨域学习。在完成博士论文时，我找不到能够为一种算法带来所有5个范式能力的方法，然后我把这个问题丢在一边一段时间。但当我把机器学习应用到诸如口碑营销、数据集成、事例编程、网站个性化等问题中时，我不断发现，每个这样的范式只提供了一部分解决办法。我相信应该有更好的方法。

至此，我们已完成了对5个学派的介绍，同时集中了他们的观点、议定它们的界限、探索了这些碎片如何拼凑在一起。我们现在知道的东西比一开始多得多，但还有一些东西没有找到。在这个谜题的中心有一个很大的漏洞，使人难以看到其模式。问题在于，目前为止，我们见过的所有学习算法，需要一位老师来告诉它们正确答案。它们不会从健康细胞中区分出癌细胞，除非有人将这些细胞标记为“癌细胞”或者“健康细胞”。人类会无师自通，从出生那天开始，就已经这么做了。正如《指环王》中站在魔多大门的弗罗多那样，如果无法在这个障碍附近找到出路，那么我们的长途旅行将毫无意义。有一条路可以穿越壁垒和层层守卫，胜利越来越近。跟我来……

无师自通

如果你是家长，在你孩子长到3岁这段时间，关于学习的整个奥秘会在你眼前揭开。新生儿无法说话、走路、识别物体，甚至不知道，当他看不到某个东西时，它仍然存在。但一个月又一个月过去，大步小步向前走，经过不断摸索，终于取得概念理解上的大进步，孩子终于理解世界如何运转、人们如何行事，以及如何进行沟通。孩子过了3岁生日，所有这些学习行为就会聚合成稳定的状态，即一种贯穿我们一生的意识流。较大的孩子和成年人可以进行时空旅行，也就是记住过去的事，但也只能回忆到3岁的事。如果我们能重新回忆婴儿和蹒跚学步时期的自己，然后从新生儿的角度看待这个世界，那么许多关于学习的疑问，甚至关于存在本身，都会突然变得清晰明朗。但实际上，宇宙中最大的奥秘并不在于它如何开始和灭亡，或者又是由怎样无穷细的线编织而成，而在于幼小孩子的大脑里正在发生什么：一磅的胶状物如何变成意识的所在处。

对于儿童学习的科学研究尚不成熟，几十年前才正式开始，却已经研究得很深入。婴儿无法填写问卷或者遵守实验规则，但我们可以推导出关于他们大脑活动的、让人惊讶的数量，方法就是在实验过程中，对他们的反应进行录制并研究。连贯的图片就出现了：婴儿的大脑不仅能揭开一项预设的基因程序，或者是用于记录感测数据中相互关系的生物装置，还可以积极整合他们自身的实际情况，这种情况会随时间发生彻底改变。

渐渐地，与我们最为相关的认知科学家以算法的形式来表达关于儿童学习的理论。许多机器学习研究人员由此得出灵感：我们需要的一切都存在于孩子的大脑中，如果能用编码的形式来获取其精华就好了。一些研究人员甚至认为，创造智能机器的方法，就是要造出一个机器婴儿，让它像人类婴儿那样去体验世界，研究人员就是它的父母（甚至可能还会有来自众包的协助，赋予“地球村”这个术语以全新的含义）。小罗比，我们就这么叫它吧（为了向《禁忌星球》中胖乎乎且高大的机器人致敬），是我们造出的唯一的机器人婴儿。一旦它学会3岁小孩都知道的事情，那么人工智能的难题就得到解决了。我们可以把它脑子里的内容复制到其他机器人中，想复制几个都可以，这样最困难的工作就完成了。

当然，问题在于罗比出生时，脑子里该运行哪种算法。受到儿童心理学影响的研究人员会看不惯神经网络学，因为一个神经元的微型运作与孩子最基本行为的复杂度也相差十万八千里，这些行为包括伸手去拿东西、抓住东西，然后睁大眼睛好奇地观察它。我们需以更抽象的水平来模拟儿童的学习，以免只见树木、不见森林。首先，虽然孩子理所当然从父母那里获得了许多帮助，但很多时候他们是在没人监督的情况下进行自学，这才是最不可思议的地方。目前为止，我们见过的算法还无法做到这一点，但我们会发现有几种算法可以让我们看到离终极算法更进一步了。

物以类聚_，人以群分

我们轻轻按下“打开”按钮，罗比的视频眼第一次睁开了，但马上它就淹没在威廉·詹姆斯令人记忆深刻的所谓世界的“杂乱无章”中。随着新图片以每秒几十张的速度涌入视线，它必须做的第一件事就是学会将这些图片组织成更大的图片块。真实的世界由持续存在一段时间的物体组成，而不是由从这一刻到下一刻随意变换的像素组成。妈妈走开时，她还是她，不会被更小的妈妈代替。把一个盘子放在桌上，桌面不会出现白色的洞。如果一只泰迪熊从屏幕里经过，然后再出现时变成一架飞机，那么幼小的婴儿不会对此感到惊讶；但一岁小孩却会。不知为什么，他弄明白了泰迪熊和飞机不一样，而且无法自行转化。之后不久，他会弄明白有些物体和其他物体更像，然后开始进行分类。假定有一大堆马形玩偶和铅笔可以玩，9个月大的孩子不会将其分类成马形玩偶和铅笔两个范畴，但一个18个月的孩子却会。

将世界组织成客体和类别，对于成年人来说，这是第二天性；对于婴儿来说却不是；对于机器人罗比来说，更没有可能。我们可以以多层感知器的形式赋予它视觉皮质，然后为它展示分类好的世界里所有的客体和类别的例子——妈妈走近了，妈妈走远了，但我们绝不可能做到。我们需要一种能够自发将所有相似物体或者同一物体的不同图片集中起来的算法。这就是聚类问题，这在机器学习当中也是人们研究最多的主题之一。

一个集群相当于一组相似的实体，或者以最低限度来说，一组相似的实体之间的相似度比和其他集群中的组成部分的相似度要大。对事物进行聚类，这是人类的天性，也是获取知识的第一步。当我们仰望夜空时，会禁不住去看星座，然后根据形状来为其命名。注意到某些元素组有很相似的化学属性，这是发现元素周期表的第一步，那些相似元素现在就是元素周期表中的一列。我们察觉到的一切就是一个集群，从朋友的脸到说话声。没有这些，我们就会不知所措：在学会识别组成语言的独特声音之前，儿童无法学习语言。这需要他们在一岁时学习，而且如果没有单词指代的真实事物群集，他们学习的所有单词就会没有意思。面对大数据（大量的事物），我们首先采用的办法就是把大数据分成若干更好处理的集群。比如，整个市场过于粗化，单个消费者又过于细微，因此市场营销人员会将市场分成若干部分，这些部分就成为集群。甚至物体本身也是观察的底层集群，从由不同角度照射到妈妈脸上的光线，到宝宝听到的关于“妈妈”一词的不同声波。没有物体，我们就无法进行思考，也许这也是量子力学如此非直观的原因：我们想把亚原子世界形象化，看作粒子碰撞或者波形干扰的世界，但这样也并不真实。

我们可以通过集群的典型元素来表示该集群：你用心灵之眼看到母亲的形象，或者典型的猫、跑车、郊区住宅和热带海滩。依据市场营销知识，伊利诺伊州的皮奥瑞亚是典型的美国小镇。鲍勃·伯恩斯是康涅狄格州温德姆小镇的一名房屋维修主管，今年53岁，是美国最普通的市民——如果你相信凯文·奥基夫《普通美国人》一书讲的是对的，那么至少是这样的。任何由数字属性描述的东西，比如人们的身高、体重、围度、鞋码、头发长度等，使得计算平均数变得简单：他的身高就是所有集群成员的平均身高，他的体重就是所有体重的平均数……对于分类属性来说，比如性别、头发颜色、邮政编码或者最喜爱的运动，“平均”就是出现频率最高的值。这组属性描述的普通成员可能不是真实存在的人，但不管怎样，它是十分有用的参考：如果你在进行头脑风暴，考虑如何营销新产品，把皮奥瑞亚当作产品发布的地点，或者把鲍勃·伯恩斯当作目标客户，这要比考虑“市场”或者“消费者”之类的抽象实体要好。

尽管这样的平均值很有用，但我们可以做得更好。的确，大数据和机器学习的全部要点在于避免粗糙的思考。我们的集群可能是许多人组成的专业性很强的组，甚至是同一个人的不同方面：爱丽丝买工作用的书、休闲相关的书，或者作为圣诞礼物的书；爱丽丝心情好，或爱丽丝心情忧郁。亚马逊想把爱丽丝买给自己的书和送给男朋友的书区分开来，因为这样可以使它在恰当的时间做恰当的推荐。不幸的是，采购不会贴着“自己的礼物”或者“鲍勃的礼物”标签，而亚马逊要懂得如何将这些进行分类。

假设罗比的世界中的实体分成五个集群（人类、家具、玩具、食物和动物），但我们不知道这些东西分别属于哪个集群。当我们启动罗比时，这就是它面临的问题类型。将实体分类成集群的一个简单方法，就是随机挑选5个物体作为集群典范，再利用每个典范来对比每个实体，然后将其分到最相似典范的集群中（正如在类比学习中，相似度测量的选择很重要。如果属性是数值型的，它可能就与欧几里得距离一样简单，但还有其他许多选择）。这时我们就需要更新典范。毕竟，集群的典范就是其成员的平均化，尽管当每个集群中只有一个成员时情况也是如此，但通常这种情况不会出现在我们将一堆新成员加入每个集群之后。因此对每个集群来说，我们先计算其成员的平均特性，然后将其当作新的典范。这时，我们需要再更新集群的成员：因为典范已经移走，与给定实体最接近的典范可能也已经改变。我们可以把某个类别的典范想象成一只泰迪熊，把另外某个类别的典范想象成一根香蕉。也许在第一轮，我们会把动物饼干和熊归为一类，但在第二轮中我们会把它和香蕉归为一类。最初动物饼干看起来像玩具，但现在它看起来更像食物。一旦我重新将动物饼干归入香蕉那一类，也许那个类别的典型项也已经改变，从香蕉变为饼干。随着实体被分到越来越恰当的集群中，这个良性循环会继续下去，直到实体到集群的分配不再发生改变（因此集群典范也不再发生改变）。

该算法被称为k均值算法（k–means algorithm），它的起源可以追溯到20世纪50年代。它精密、简单、人气很高，但有几个不足，而其中的一些问题和其他问题相比较容易解决。例如，我们要提前确定集群的数量，但在真实世界中，罗比总会遇到新类型的物体。有一个选择，就是如果某物与其他现存的物体迥然不同，那么就让物体开启新的集群。另外一个选择，就是允许集群分裂，然后随着我们前进而合并。不论哪种方法，我们都会想让算法偏向选择更少的集群，以免我们最后以每个物体作为自己的集群而结束（如果我们想让集群由相似物体组成，这很难办到，但显然这并不是目标）。

有一个更大的问题，那就是k均值算法只有在集群易于区分的情况下才能起作用：在超空间中，每个集群可看作一个球团，每个团距离彼此都很远，而它们都有相似的体积，并包含相近数量的物体。如果其中的一个团出现故障，不好的事情就会发生：细长的集群会分成两个不同的集群，较小的那个集群会被附近更大的集群吸收，以此类推。幸运的是，还有一个更好的选择。

假设我们确认，让罗比在真实世界中闲逛是一种过于缓慢、麻烦的学习方法。相反，就像飞行学员在飞行模拟器中进行学习一样，我们会让罗比观看计算机生成的图片。虽然知道图片来自什么集群，但我们不会告诉罗比。相反，我们生成每张图片的方法，就是首先要随意选择一个集群（比如说玩具），然后综合该集群中的一个例子（毛茸茸的、棕色的小泰迪有一双黑色的大眼睛、圆耳朵，还戴着蝴蝶结）。我们还是随意选择例子的属性：尺寸来自一个正态分布的均值，比如10英寸，毛是棕色的概率为80%，否则就为白色，以此类推。当罗比看到许多图片由这个方法生成后，它应该学会将它们分为人类、家具、玩具等类别中，因为人类和家具相比，人类更像人类。有一个有趣的问题：如果我们从罗比的角度看，它发现集群的最佳算法是什么？答案让人惊讶：朴素贝叶斯算法。我们开始了解该算法时，它是监督式学习的一种算法。区别在于现在罗比不知道类别，因此它得猜这些东西。

显然，如果罗比不知道它们，事情就会一帆风顺，因为在朴素贝叶斯算法中，每个集群都由其概率（17%生成的物体都是玩具）和集群成员当中每个属性的概率分布来定义（例如，80%的玩具是棕色的）。罗比可以估算这些概率，只要数清数据中玩具的数量，以及棕色玩具的数量等。为了做到这点，我们需要知道哪个物体是玩具。这看起来很棘手，但最后发现我们已经知道如何做到这一点。如果罗比有一个朴素贝叶斯算法分类器且要弄明白新物体的类别，它要做的就是应用分类器，然后在给定物体属性的条件下计算每个类别的概率（小小的、毛茸茸的、棕色的、有大眼睛、戴着蝴蝶结？可能是玩具，也可能是动物）。

因此罗比面临的是鸡和蛋的问题：如果它知道物体的类别，就可以通过数数的方式来掌握类别的模型；如果它知道模型，可以推断物体的类别。我们好像又遇到困难了，但远非如此：只要在开始时，以你喜欢的方式来猜测每个物体的类别（即使是随机的），然后你就有的忙了。从那些类别和数据中，你可以掌握类别模型；在这些模型的基础上，你可以重新推导类别，以此类推。乍一看，这看起来像一个疯狂的计划：它可能绝不会结束，而是处在由模型推断类别，到由类别推断模型的永恒循环中。即使它停止了，也没有理由相信会停在有意义的集群上。但1977年，来自哈佛大学的三个统计学家（亚瑟·邓普斯特、南·莱尔德、唐纳德·鲁宾）表明，这个疯狂的计划其实可以生效：每次我们绕着圈走时，集群模型就会变得更好，而当模型是可能性的一个局部最大值时，循环结束。他们称该计划为期望最大化演算法（Expectation Maximization，EM算法），其中E表示期望（推断预期的概率），而M代表最大化（估算可能性最大的参数）。他们还表明，许多之前的算法都是EM的特殊情况。例如，为了掌握隐马尔科夫模型，我们交替进行以下工作：推断隐藏状态，在此基础上估算过度和观察概率。无论何时，当我们想掌握某个统计模型，但又缺乏一些关键信息时（例如，例子的类别），就可以利用EM。这使它在所有机器学习中成为最受欢迎的算法。

你可能已经注意到k均值算法和EM之间的某个相似性，因为它们都交替进行两项工作：将实体分配给集群，然后更新集群的描述。这并不是一场意外：k均值本身就是EM的一种特殊情况，当所有属性都会有“狭窄的”正态分布时（有很小变量的正态分布），你就会找到它。当集群重叠很多时，举个例子，实体可能会归属于概率为0.7的集群A和概率为0.3的集群B。而在信息不丢失的情况下，我们无法决定它是否属于集群A。EM会将其考虑进来，会将实体分配给两个集群，然后根据依据来更新它们的描述。但是，如果描述非常集中，实体归属于附近集群的概率也总接近1，而我们要做的就是将实体分配给集群，以及对每个集群中的实体都进行平均化，以获得其均值，这是典型的k均值算法。