人工智能时代：破解人机共存密码（套装共10册）

（Humie Awards），来认可“人类竞赛”相关的遗传编程创作。迄今为止，已经颁发39个奖项。

性有何用

尽管他们取得了成功，也对诸如渐进主义与间断平衡的问题发表见解，但遗传算法还有一个很大的谜团没有解开：性在进化过程中所起的作用。演化新论者非常重视交叉行为，但其他学派的成员认为没有必要如此麻烦。霍兰德没有哪个理论结果表明，交叉行为能起作用。经过一段时间，突变足以成倍地增加群体中最适合留下的基模的频率。而“构造模块”的直觉很吸引人，但很快就会遇到麻烦，即使用上遗传算法也没用。随着模块演变得越来越大，交叉行为也会越来越趋向于将这些模块解散。还有，一旦适应力强的个体出现，其后代很有可能快速掌管该群体，并有可能将更好的基模挤出，这些基模受到整体上不那么相配的个体的牵绊。这有效减少了研究适应度冠军变化的工作量。研究者已经找到许多方案，能够保存群体中的多样性，但研究结果还不确定。工程师们当然广泛应用构造模块，但将这些构造块结合起来就会在很大程度上涉及工程学的内容。这不是用旧办法把它们丢在一起那么简单，也不是明显的交叉行为就能取得成功的。

消除性别对于演化新论者来说，就只剩下变异作为其理论的推动力。如果群体的规模大体上比基因的数量大，很有可能每个点突变都已体现在其中，而研究就变成爬山法的一种：尝试所有可能的单步变种，挑选最好的一个，然后重复这个步骤（或者挑选几个最好的变种，这种情况就被称为“定向搜索”）。应特别指出的是，符号学派一直用这种方法来掌握规则集，虽然他们不把它当成进化的一种形式。为了避免陷入局部最大值的陷阱，爬山法可以通过随机性（以某个概率做下坡移动）和随机重启（过一会儿后，跳到随机状态，然后从那儿继续）来得到加强。这样做已经足以找到解决问题的好办法。为其添加交叉行为是否能证明额外计算成本的合理性，这有待回答。

没人知道为什么性别在自然界中无处不在。人们已经提出几个理论，但没有一个被广泛接受。这方面的领先理论是“红皇后”假说，马特·里德利在同名书中向人们介绍该理论。在《爱丽丝镜中世界奇遇记》中，红桃皇后对爱丽丝说：“全力奔跑，这样你才能留在原地。”依照这个观点，有机体和寄生虫就会永远处在竞赛中，而性可以保持群体的多样性，这样单一微生物就不会感染整个群体了。如果这就是答案，那么性就和机器学习不相关，这至少持续到掌握的程序因为处理器时间和内存而与计算机病毒进行抗战（有趣的是，丹尼·希利斯称，有意将共同进化的寄生虫引入遗传算法中，可以帮它避免局部最大值困境，方法就是逐步加大难度，但还没有人继续采用他的观点）。赫里斯托斯·帕帕季米特里乌和同事表明，性优化的不是适应度，而是他们所谓的“混合度”：当与其他基因结合时，一个基因表现出平均水平良好的能力。就像自然选择一样，当适应度函数要么不是已知，要么不是常数时，这个说法会起作用。但是在机器学习和最优化中，爬山可能会做得更好。

遗传编程的问题不会就此结束。的确，虽然它获得的成功可能不会像演化新论者希望的那样和遗传有很大联系。以电路设计为例，这就是遗传编程成功的典型。作为一种规则，即使相对简单的设计也需要大量的研究，而且也不知道，得出的结果多大程度上归功于蛮力强攻而不是遗传学智慧。为了回应越来越多的批评者，科扎1992年的书《遗传编程》（Genetic Programming）包含的实验表明，遗传编程在布尔电路合成问题上打败了随机生成备选项，但胜利的优势很小。接着，1995年在加利福尼亚太浩湖举办的机器学习国际会议（ICML）上，凯文·朗发表了一篇论文，论文表明爬山法在相同的问题上打败了遗传编程，而且胜利的优势很大。科扎和其他演化新论者已经不断尝试在ICML上发表论文，因为这是该领域的重要会议，但让他们越来越感到挫败的是，因为经验验证不足，他们不断遭到拒绝。论文被拒已经让科扎感到失落，看到朗的文章，更让科扎感到气急败坏。在短时间内，他以ICML的两栏格式，整理了一篇23页的论文，反驳朗的结论，并控诉ICML评审员的科学不端行为。他接着在会堂的每个位置都放了一份论文复印件。依据你的观点，不是朗的论文，就是科扎的回应成为最后一根稻草。不管怎样，太浩湖事件标志着演化新论者与机器学习阵营中其他流派最后的决裂。遗传编程员开始举办自己的会议，这些会议与遗传算法会议合并，成为“遗传与进化计算会议”（GECCO）。对于演化新论者这部分，机器学习主流学派已经很大程度上把他们忘记。这是一个悲伤的结局，但在历史上并不是第一次，性是决裂的原因。

性在机器学习中可能还未取得成功，但作为一种安慰，它已经在技术的发展中起到重要作用。色情描写是万维网中未公开承认的“杀手级应用”，更别说它在印刷、摄影、视频领域就更受欢迎了。振动器是第一台手持电子设备，预示着一个世纪之后手机的出现。小型摩托车在战后的欧洲，特别是在意大利受到欢迎，因为它们能够让年轻的夫妇离开家人。100万年前，当直立人发现火时，其中的一个“杀手级应用”当然是便于约会。同样肯定的是，“拟人化”机器人变得越来越真实，其主要推动力是性爱机器人行业的发展。性似乎才是最后的结局，而不是技术演化的手段。

先天与后天

演化新论者和联结学派重要的共同点是：他们都因为受到自然启发而设计了学习算法，不过后来分道扬镳了。演化新论者关注的是学习架构，对他们来说，通过参数优化来对演化的架构进行微调，这是次重要的事情。相反，联结学派更喜欢用一个简单、手工编写的结构，加上许多连接行为，然后让权值学习来完成所有工作。这就是机器学习版本关于先天和后天的争论，而且双方都有很好的论据。

一方面，进化已经产生许多神奇的东西，但没有什么比产生你更神奇的了。有或者没有交叉行为，进化结构都是终极算法的基本部分。大脑可以学习任何东西，但终极算法却无法使大脑进化。如果彻底了解大脑的结构，就可以将其运用到计算机硬件中，但我们还远远做不到这一点。通过计算机模拟进化寻求帮助是一件容易的事情。另外，我们也想对机器人的大脑、装有任意传感器的系统、超级人工智能设备进行进化。如果有更好的东西来完成这些任务，我们就没有理由继续使用根据人类大脑设计出来的设备。另一方面，进化的过程缓慢到让人难以忍受。一个有机体的一生只会产生一条与其基因组相关的信息：它的适应度，反映在后代有机体的数量上。这简直是在浪费大量的信息，神经学习会通过在使用的点上（可以这么说）获取信息来避免这个问题。正如联结学派的杰夫·辛顿指出的那样，基因组携带的信息没有什么优势，因为我们可以从感知中获取这些信息。当新生儿睁开眼睛时，感知世界会涌入大脑，而大脑只需组织这些感知。然而，基因组中需要确定的信息是，完成这些组织工作的“机器”的结构。

在先天与后天之争中，两方都没有完整的答案，关键在于找到如何将两方结合起来。终极算法既不是遗传编程，也不是反向传播，但它得包含这两者的重要部分：结构学习和权值学习。在传统观点看来，先天自然完成第一部分（进化大脑），后天培育再将大脑填满信息。我们可以在学习算法中重复这个过程。首先，学习网络的结构，利用爬山法（举个例子）来决定神经元之间如何连接：试着将每个可能的新连接添加到网络中，保持那个最能提高性能的连接，然后重复这些步骤。之后利用反向传播来学习连接权值，那么你全新的大脑马上就可以使用了。

如今在自然和人工进化中，都存在一个很重要的微妙之处。我们会为每个备选的结构而不仅仅是最终的那个，而一直学习权值，目的是为了明白这些结构在生存竞争（在自然情况下）以及训练数据（在人工条件下）中的表现如何。在每一步中，我们想选择的结构，是在掌握权值之后（而不是之前），表现最好的那个。因此，实际上，先天自然并不一定会排在后天培育之前。它们是互相交替的，每轮中的“培育”学习会为下一轮的“自然”学习做好基础，反之亦然。因为后天的培育，先天也会得到进化。皮质关联区域的进化在感知区域依赖于神经学习，没有神经学习，它就会变得毫无用处。小鹅跟着妈妈到处走（进化的行为），但得首先认识妈妈（通过学习掌握的能力）。如果它们孵化出来时第一个见到你，就会跟着你走，正如康拉德·洛伦茨明确表明过的那样。新生大脑已经对环境的特点进行编码，但不是很明显，进化过程会将大脑优化，从预期的输入信息中提取那些特点。同样的道理，在交替学习结构和权值的算法中，每个新结构都暗中成为前几轮掌握的权值的函数。

在所有可能的基因组中，很少有基因组和活性有机体对应。因此典型的适应度“地形”就由广袤的“平原”组成，偶尔有几座“尖峰”，这让进化变得十分困难。如果你从堪萨斯州出发，蒙住眼睛，你就不知道通往落基山脉的路在哪里，那么偶然撞上山脚并开始往上爬之前，你很长一段时间都是在晃悠。但如果你把进化和神经学习结合起来，有趣的事情就发生了。如果你在平地上，距离山脚不是很远，网络学习会帮你到达那里，距离山脚越近，它越有可能帮你。它就像有环视功能一样：在威奇托，它帮不上你，但在丹佛，你会看到远处的落基山脉，然后往那个方向走。丹佛现在看起来就比你之前蒙住眼时看起来的要适应得多了。净效应会将适应度顶峰加宽，这样你从之前艰难的地方出发，找到通往这些峰顶的路就成为可能，就像图5–4中的A点。

在生物学中，这称作“鲍德温效应”，该效应是以J·M·鲍德温的名字命名的，他于1896年提出这个概念。在鲍德温进化中，初次掌握的行为，之后会变成天生的本领。如果像狗一样的哺乳动物能学会游泳，那么它们进化成海豹的可能性会比淹死的可能性更大。选择个体学习可以影响进化，不必依赖拉马克学说。杰夫·辛顿和史蒂芬·诺兰论证了机器学习中的鲍德温效应，方法就是利用遗传算法来进化神经网络结构，并观察到只有个体学习被允许时，适应度才会随时间增加。

谁学得最快_，谁就会赢

进化寻求好的结构，而神经学习则填满这些结构：这样的结合是我们走向终极算法最简单的一步。先天与后天之争是无休止的波折，这个波折持续了2500年，且争论会越来越激烈，对于熟悉这一点的人来说，这可能就像一个惊喜。然而，通过计算机的眼睛来看待生命能够将很多东西进行分类。“自然”对计算机来说就是它运行的程序，而“人工”则是获取的数据。“这两个哪个重要”这样的问题明显有点荒唐。没有程序和数据，就没有输出信息，比如也没有这样的说法：60%的输出信息由程序得出，另外的40%由数据得出。熟悉机器学习，会让你摆脱这种线性思维。

另外，你也许想知道，都到这点了，为什么我们还没有完成目标呢？如果我们把自然的两个主算法——进化和大脑——结合起来，我们当然就可以这样问。遗憾的是，目前我们只是大概知道自然如何学习，对许多应用来说已经足够，但对于真实的东西来说，还只是灰蒙蒙的影子。例如，胚胎发育是生命的重要组成部分，但在机器学习中，就没有和胚胎对应的类似物：“有机体”是基因组非常简单的功能，而我们可能忽视了重要的东西。另一个原因就是，即使已经弄明白自然如何学习，我们也不会满足。一方面，这个过程太缓慢。进化需要数十亿年来进行学习，而大脑需要一辈子。文化会好些：我可以花一辈子时间来学习一本书，而你可以几个小时把它读完。但学习算法应该有在几分钟或几秒钟内掌握知识的能力。谁学得快，谁就赢了，无论是加快进化速度的鲍德温效应、语言交流促进人类的学习效果，还是计算机以光的速度发现模型。机器学习是地球上生命之间竞争的最新篇章，更加快速的硬件只是等式的一边，另一边是更加智能的软件。

最重要的是，机器学习的目标是尽可能找到最好的学习算法，利用一切可能的方法，而进化和大脑不可能提供学习算法。进化的产物有很多明显的错误。例如，哺乳动物的视觉神经和视网膜前端而不是后端相连，这样会引起不必要的（而且异乎寻常的）盲点，就在中心凹旁边，而这里是视觉最敏锐的地方。活细胞的分子生物学原理非常混乱，分子生物学家常常自嘲道，只有对分子生物学一点也不懂的人才会相信智能设计。大脑的构造很有可能有相似的错误（大脑有许多计算机没有的限制，比如非常有限的短期记忆），而且没有理由待在这些限制里。另外，我们听说过许多这样的情形，人类似乎坚持做错误的事情，正如丹尼尔·卡尼曼在他的书《思考，快与慢》里详细说明的那样。

与联结学派及演化新论者相反，符号学派和贝叶斯学派不相信“法自然”的说法。他们想从基本原理中找出学习算法该做什么，而且也包括我们人类。例如，如果我们学习如何诊断癌症，就说一句“这就是自然进行学习的方法，我们也照做”还不够。这其中有太多的利害关系，误差的代价就是生命。医生应该尽可能用最安全的方法来进行诊断，这些方法和那些数学家用来证明定理的方法相似，或者尽可能接近他们能掌控的水平（考虑到做到那样严谨有点不太可能）。他们需要权衡证据，目的是把诊断误差降到最小；或者更确切地说，误差的代价越大，他们犯错的可能性就越小（例如，未能找到确实存在的肿瘤，与诊断出其实不存在的肿瘤相比，可能要糟糕很多）。医生们得做出最优选择，而不是表面看起来不错的选择。

这是一个让人紧张的实例，贯穿科学和心理学的很多领域：是描述性理论与规范性理论之间的分歧，是“这就是它的样子”与“这就是它应该成为的样子”之间的分歧。然而，符号学派和贝叶斯学派想指出，弄明白“我们该怎样学习”也可以帮助我们了解人类如何学习，因为这两者大概不会完全不相关（远非如此）。特别指出的是，对于生存有重要意义、已经经历很长一段时间进化的行为应该就是最优的。我们不是很擅长回答关于概率的书面问题，但我们擅长快速选择手和手臂的动作来击中目标。许多心理学家已经使用符号学或贝叶斯的模型来解释人类行为的方方面面。符号学主导了认知心理学的头几十年。在20世纪八九十年代，联结主义者占支配地位，但现在贝叶斯学者的数量正在上升。

对于最困难的问题——我们真的想解决但没能解决的问题，例如，治愈癌症的问题——纯粹受到自然启发的方法要成功可能太无知，即使给定大量的数据也还是如此。原则上，我们可以掌握细胞新陈代谢网络的完整模型，方法就是结合结构研究，利用或者不利用交叉，通过反向传播来进行参数学习，但有太多不利的局部最优陷阱。我们得利用更大块的数据来进行推理，根据需要集合或重新集合这些数据，然后利用逆向演绎来填补空缺。要让这样的目标来引导我们的学习行为：以最优方法诊断癌症，然后找到治疗癌症的最佳药物。

最优学习是贝叶斯学派的中心目标，而且他们肯定自己已经找到了实现这个目标的方法。请看这里……

第六章

贝叶斯学派：在贝叶斯教堂里

夜幕降临，大教堂的影子也渐渐变大。光线从教堂的彩色玻璃窗倾泻而出，在大街上及远处的建筑上投射出复杂的公式。当你走近时，会听到人们在里面唱圣歌的声音。唱的好像是拉丁语，又好像和数学有关，但你耳朵里的巴别鱼把它翻译成英文：“转动曲柄！转动曲柄！”正当你迈进去时，圣歌渐渐转化成声声满意的“啊”以及“后面，后面”的呢喃。你穿过人群。圣坛上矗立着一块巨大的石碑，上面刻着10英尺宽字母拼写成的公式：

$$
P \ ( A \mid B ) \ = \ P \ ( A ) \ P \ ( B \mid A ) \ / \ P \ ( B )
$$

当你不解地盯着这个公式看的时候，谷歌眼镜起作用了，它闪了一下，说：“贝叶斯定理。”这时人群开始唱：“再多些数据！再多些数据！”大量的祭品正被无情地推向祭坛。突然，你意识到自己是祭品中的一个，但已经太晚了。当曲柄转到你上方时，你喊着：“不！我不想变成数据点！放开我啊！”