人工智能时代：破解人机共存密码（套装共10册）

规则110。细胞自动机的运行规则是：细胞的颜色依据自身和直接相邻的细胞的颜色而改变。例如，对于图片顶部3个细胞的黑色和白色的8种可能组合，规则110指定了其下方细胞的颜色。这条规则的演变能够每次对一行细胞进行更新，从第一行的单个黑色细胞开始，更新15次后，就产生了中间的那幅图，而更新了250次后，则产生了底部的那幅图。简单的初始条件演变成了一个无限延续的非常复杂的模式。

这 其 中 的 复 杂 性 来 自 哪 里 ？ 想 了 解 更 多 细 节 ， 请 参 阅 ：http://mathworld.wolfram.com/Rule110.html。

该发现的一个意义在于，我们在生命体中发现的显著复杂性，可以通过对分子间化学相互作用的最简空间进行采样，从而实现演化。而演化过程中出现的复杂的分子组合，应该是能够预料到的，不应该被当作是什么奇迹。但细胞自动机可能不是早期生命的优秀模型，究竟哪些简单的化学系统能够产生复杂的分子结构，仍然是一个悬而未决的问题。^[9]也许只有特殊的生物化学系统才有这种特性，这有助于减少可能产生生命的潜在相互作用种类的数量。

生命的一个重要特性，是细胞的自我复制能力。匈牙利裔美国数学家约翰·冯·诺依曼，曾经于20世纪40年代在普林斯顿高级研究所使用细胞自动机探索过这种能力。冯·诺依曼的工作对数学的许多领域都产生了重大影响，特别是他关于博弈论的开创性工作（在第1章中提到过）。在寻找可以完全自我复制的最简单的细胞自动机过程中，冯·诺依曼发现了一个复杂的细胞自动机，具有29个内部状态和一个大型的记忆体，可以实现自我复制。^[10]该发现具有重大的生物学意义，因为能够自我复制的细胞中，也有许多内部状态和记忆以DNA的形式存在。从那以后，更简单的、能够自我复制的细胞自动机陆续被发现。

大脑的逻辑深度

1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）证明了，用类似感知器的简单二进制阈值单元构建一台数字计算机是可行的，只要将感知器按照计算机的基本逻辑门那样连接起来就可以了。^[11]我们现在知道，大脑有模拟和数字的混合特性，它们的神经回路通常不计算逻辑函数。但是麦卡洛克和皮茨于1943年发表的论文在当时受到了很多关注，特别是启发了冯·诺依曼对计算机的思考。他创建了第一批有存储程序的数字计算机，这对于当时的数学家来说是一个很不寻常的项目，尽管当冯·诺依曼于1957年去世时，高级研究所并没有继续他的研究，还销毁了他的计算机。[12]

冯·诺依曼对大脑也非常感兴趣。1956年，作为耶鲁大学举办的西利曼（Silliman）讲座嘉宾，^[13]他在讲座中思考了大脑如何用这种不可靠的组件进行可靠操作的问题。当数字计算机中的晶体管出现错误时，整个计算机可能就会崩溃，但是当大脑中的某个神经元失灵时，大脑的其他部分却会适应这种失灵，并照常工作。冯·诺依曼认为，冗余（redundancy）可能是大脑能够稳定运转的原因，因为每一个操作都有许多神经元参与。冗余在传统上是基于备份的，以防主系统出现故障。但我们现在知道，大脑的冗余是基于多样性，而不是重复。冯·诺依曼对逻辑深度也表示了担忧：在累计误差破坏结果之前，大脑可以完成多少逻辑步骤？与可以完美地执行每个逻辑步骤的计算机不同，大脑具有许多噪声源。一个大脑可能达不到完美的程度，但是因为它有许多神经元并行工作，所以每一步能够完成的计算都比一台计算机进行一次计算所能完成的要多得多，因而逻辑深度也要浅一些。

尝试所有可能的策略

想象一下充满了所有可能算法的空间。这个空间中的每一点都是一个算法，可以做某件事，而且其中一些算法是非常有用且高效的。过去，这些算法是由数学家和计算机科学家们手工创造的，就像行会里的工匠那样。斯蒂芬·沃尔夫勒姆通过穷举搜索（exhaustivesearch）对搜寻细胞自动机算法的过程进行了自动化，从最简单的自动机开始，其中一些产生了高度复杂的模式。沃尔夫勒姆定律（Wolfram’slaw）是对这种见解的一个总结。该定律指出，你不必在算法空间中搜索很长一段路径，就可以找到一种能解决一类有趣问题的算法。这就像使用机器人程序在互联网上玩类似《星际争霸》的游戏一样，尝试所有可能的策略。根据沃尔夫勒姆定律，算法空间中应该有大量算法可以赢得游戏。

沃尔夫勒姆专注于细胞自动机的空间，这是所有可能算法空间中一个小的子空间。但是，如果细胞自动机是非典型算法，比其他类算法更具有普遍性呢？我们现在已经在神经网络空间中确认了沃尔夫勒姆定律。每个深度学习网络都是通过学习算法找到的，该算法是一种发现新算法的元算法。对于大型网络和大量数据，从不同的起始状态学习可以产生如星系般庞大的网络数量，它们在解决问题上都能达到相同效果。这就产生了一个问题，即是否存在一种比梯度下降更快的方法能够找到算法空间的区域。梯度下降这种方法速度慢，还需要使用大量的数据。有一个暗示揭示了这种可能性，即每个生物种类，都是由生命算法空间中的一个点附近的变体DNA序列创建的个体云。自然界通过自然选择设法从一个“个体云”跳跃到另一个云，这种跳跃式过程被称为“间断性平衡”（punctuated equilibria） ^[14] ，同时每个物种也经历着随机突变的局部搜索。遗传算法被设计用来进行这样的跳跃，大致是基于自然界如何演化出新的有机体^[15]。我们需要用数学来描述这些算法云。可谁知道算法的空间是什么样子呢？还有很多我们尚未发现的算法“星系”，但我们可以通过自动探索的方式来找到这些星系——终极边境。

我实验室的博士后研究员克劳斯·施蒂费尔（Klaus Stiefel）跟进了这一过程中的一个简单例子。他在2007年使用了一种算法，在计算机中生成了具有复杂的树突树（dendritic trees）的模型神经元。^[16]树突就像天线一样从其他神经元收集输入。可能的树突树的空间是巨大的，而施蒂费尔的目标是指定所需的功能，并在树突树的空间中搜索能够计算出该功能的模型神经元。一个有效的功能是决定输入放电尖峰的到达顺序：当一个特定的输入在另一个输入之前到达时，神经元应该输出一个放电尖峰，但是如果该输入随后到达，神经元应该保持沉默。这种模型神经元是通过使用遗传算法搜索所有可能的树突树发现的，且该解决方案看起来就像皮层锥体神经元，一个突触位于底部的薄树突（基底树突），另一个突触位于神经元顶部的厚树突（顶树突；见图14–6）。这也许解释了为什么锥体细胞有顶端和基底的树突。如果没有对所有可能突触的空间进行深入搜索，我们可能就无法将这种结构和上述功能联系起来。通过从其他功能开始重复此搜索，可以自动编译以树突形状列出相应功能的目录，并且当发现新的神经元时，可以在目录中通过其树突形状查找其潜在的功能。

斯蒂芬·沃尔夫勒姆离开学术界后创立了沃尔夫勒姆研究所，后者开发了Mathematica程序，该程序支持大量的数学结构，并被广泛应用于实际。Mathematica是用沃尔夫勒姆语言编写的，这是一种通用的融合多种范式的编程语言。该语言也为沃尔夫勒姆阿尔法（WolframAlpha）提供支持，它是第一个实用的、基于符号方法的关于大千世界的问答系统。^[17]学术领域的货币，是发表的文章。如果你是一个自立的绅士派科学家，你就有能力绕过简短的文章，出版有足够空间来彻底探索新领域的书籍。这是多个世纪以来的常态，只有富人或富人赞助的学者，才有条件成为科学家。

沃尔夫勒姆在2002年写了《一种新的科学》（A New Kind ofScience）一书。^[18]该书重5.6磅，长达1280页，其中有348页记录了相当于100份新科学论文的附录。这本书被媒体大肆宣传，但引发了复杂系统界褒贬不一的评论，其中一些人认为其中并没有完整地引用他们的工作。这种反对意见并没有抓住此书的要点，即把以前的工作置于新的语境下。卡尔·林奈（Carolus Linnaeus）开发了一种现代化的植物和动物分类法，即“二名法”（Binomial Nomenclature），如大肠杆菌（Escherichia coli）。该命名法是达尔文进化论的重要先导，为早期的分类学做了铺垫。沃尔夫勒姆开辟的这一研究方向在新一代研究人员中已经有了一批追随者。

在20世纪80年代，沃尔夫勒姆对神经网络可能对现实世界产生的影响表示怀疑，而且事实上，这些神经网络在之后30年的确没有产生太大的影响。然而，过去5年的进步已经改变了这一点：沃尔夫勒姆和其他许多研究人员承认他们低估了网络的成就。^[19]但是谁能预测神经网络的性能会扩展到什么程度呢？支持Mathematica的沃尔夫勒姆语言现在也支持深度学习应用，其中一个应用，是最早对图像中的对象提供在线识别技术的应用程序。^[20]

是斯蒂芬把我介绍给了比阿特丽斯·哥伦布。1987年我去圣迭戈时，比阿特丽斯正在加州大学圣迭戈分校攻读博士学位。他打电话说，他的朋友比阿特丽斯会参加我的PDP讲座（之后又分别给我们打电话询问事情的进展）。几年后，我搬到圣迭戈，后来又和比阿特丽斯订了婚。1990年我们在加州理工学院举行完婚礼后，去了贝克曼礼堂参加了一个婚礼研讨会，比阿特丽斯身着婚纱，发表了一个演讲——《婚姻：理论与实践》（Marriage: Theory and Practice）。斯蒂芬自信满满，不无骄傲地介绍了他当时是如何介绍我们认识的。不过比阿特丽斯提出，如果他想邀功，也必须承担相应的责任，对此，他谨慎地表示了反对。

[1] “21 世 纪 科 学 挑 战 大 会 ” 上 讨 论 者 的 演 讲 视 频 可 以 在 这 里 找 到 ：https://www.youtube.com/results?

search\_query=Grand+Challenges++for+Science+in+the+21 st+Century。

芯片崛起

我们正在目睹电脑芯片行业一个新格局的诞生。该领域的竞争主要在于如何设计和制造新一代的芯片，能够运行学习算法——不管是深度学习、强化学习还是其他的学习算法——比在通用计算机上的模拟学习算法快上几千倍，能耗也更低。新的超大规模集成电路芯片采取并行处理结构，带有内存，能够缓解在过去50年里主导计算的顺序冯·诺依曼构架中内存和中央处理器之间的瓶颈。在硬件层面，我们还在探索阶段。每种具有特殊用途的超大规模集成电路芯片都有不同的优点和局限性。运行人工智能应用的大型网络需要巨大的运算能力，因此，构建高效的硬件有着巨大的赢利空间。

主要的电脑芯片公司和初创公司都在开发深度学习芯片上投入了大量资金。比如，2016年，英特尔用4亿美元并购了Nervana，这是一家来自圣迭戈的初创公司，主营设计深度学习的专用超大规模集成电路芯片。Nervana前CEO纳维恩·饶（Naveen Rao）现在负责领导英特尔新设立的AI产品部，直接报告给英特尔的CEO。2017年，英特尔用153亿美元并购了Mobileye，该公司专注于生产自动驾驶汽车的传感器以及计算机视觉系统。英伟达（Nvidia）开发了能够优化图形应用程序 和 游 戏 的 专 用 数 字 芯 片 ， 称 为 图 形 处 理 器 （ graphicsprocessingunits，GPUs），目前正在销售更多为深度学习和计算设计的专用芯片。而谷歌则设计生产了一种更为高效的专用芯片——张量处理单元（tensor processing unit，TPU），以助力为其互联网服务的深度学习。

14

不过研发专用软件和发展深度学习应用同样重要。谷歌开源了它的深度学习项目TensorFlow，尽管该做法并没有看起来那么无私。比如让安卓系统免费开源，就给了谷歌对全世界绝大多数智能手机操作系统的控制权。现在除了TensorFlow，还有其他一些开源选择，比如微软的CNTK，亚马逊和其他大型互联网公司支持的MVNet，以及其他深度学习程序，比如Caffe、Theano和PyTorch。

神经形态芯片

2011年，我在挪威的特罗姆瑟组织举办了由Kavli基金会赞助的“ 绿 色 环 境 中 高 性 能 计 算 的 发 展 ” （ Growing High PerformanceComputing in a Green Environment）研讨会。 ^[1] 我们估计，使用当前的微处理器技术，百亿亿次级（exascale）计算［比千万亿次级（petascale）计算强大1000倍］需要50兆瓦的功率，比运行纽约市地铁所需的功率还多。因此，下一代超级计算机可能不得不使用像英国跨国半导体公司Arm Holdings（ARM）为手机开发和优化的那种低功耗芯片。很快，在大多数计算密集型应用中使用通用数字计算机将不再可行，专用芯片将占主导地位，因为它们已经被嵌入手机中了。

人类大脑中有大约1000亿个神经元，每个神经元都与其他数千个神经元相连接，总计达1000万亿个（10¹⁵）突触连接。大脑运转所需的功耗大约是20瓦，占整个身体运转所需功率的20%，尽管大脑仅占身体质量的3%。相比之下，一台远不如大脑强大的千万亿次级超级计算机，功耗却为5兆瓦，是大脑功耗的25万倍。大自然是怎么创造出这一高效奇迹的呢？首先，神经元接收和发送信号的部分被微缩至分子水平。另外，神经元是在三维空间上连接的（微芯片表面的晶体管仅在二维平面上相互连接），这样就可以使所需空间最小化。由于大自然很久以前就进化出了这些技术，想要追赶大脑的能力，我们还有很多工作要做。