人工智能时代：破解人机共存密码（套装共10册）

图片来源：P. Lichtsteiner, C. Posch, and T. Delbruck, “A128×128 120 dB 15 μs Latency Asynchronous Temporal ContrastVision Sensor,”IEEE Journal of Solid-State Circuits 43, no.2 (2008): 图11。资料来源：托拜厄斯·德尔布吕克。

脉冲神经元为计算领域打开了新的机会。例如，神经元群体中放电脉冲的时间可用于调整存储的信息类型。1997年，亨利·马克拉姆（Henry Markram）和德国的伯特·萨克曼（Bert Sakmann）报道说，通过对突触的输入信号和突触后神经元的输出信号的重复配对，他们能够对突触强度进行增减。^[9]如果突触输入放电发生在突触输出放电之前的20毫秒窗口内，突触会保持长期增强，但如果突触输入放电的重复配对发生在突触输出放电之后的20毫秒窗口内，则突触会保持长期衰减（见图14–6）。据报道，“放电时序依赖可塑性”（Spike-timing-dependent plasticity，简称STDP）曾经被发现于许多物种大脑中的不同部位，这种可塑性可能对事件序列在脑中形成长期记忆起着重要的作用，但同样重要的是，它很好地解释了赫布的假定（在第7章中已经进行了讨论）。^[10]

赫布可塑性的普遍观点是，当一个神经元的输入和输出同时出现放电脉冲时，突触的强度会增加，这是一种重合检测的形式。但是赫布实际上说的是，“当细胞A的轴突接近到足以激发细胞B，并反复或持续参与放电激发细胞B时，细胞的一些生长过程或代谢变化会发生在其中一个或两个细胞中，使得细胞A（作为激发细胞B的细胞之一）激发细胞B的效率增加”。^[11]如果细胞A对激发细胞B有贡献，那么细胞A必须在细胞B中的“受激发脉冲”之前发射一个“激发脉冲”。正如赫布所描述的，这种情况提示了一种因果关系，而不仅仅是相关性。尽管赫布没有对降低突触强度的条件进行描述，但当输入放电脉冲发生在输出放电脉冲之后时，输入脉冲就不太可能导致输出神经元发生脉冲。如果从长远来看，突触强度的增强和降低必须达到平衡，那么这时断开突触是讲得通的。

图14-5 2013年，特柳赖德神经形态工程研讨会中的神经形态守门员。（上图）Fopefolu Folowosele（左侧）在测试神经形态守门员（右侧）。其他学生和他们的项目可以在背景中看到。（下图）德尔布吕克的DVS相机能驱动油漆搅拌棒转动。这个守门员的动作比学生要快得多，并且成功地守住了每一个射门。我也尝试过，但是未能进球。图片来源：托拜厄斯·德尔布吕克。

in Cultured Hippocampal Neurons: Dependence on Spike Timing, Synaptic Strength, and Postsynaptic Cell Type,”Journal of Neuroscience 18 (1998): 10464-10472, 图7。资料来源：蒲慕明。

在特柳赖德神经形态研讨会上，模拟超大规模集成电路倡导者和数字超大规模集成电路设计师之间存在着一场持续不断的争论。模拟超大规模集成电路芯片有许多优点，例如所有电路并行工作时功耗非常低，但也存在缺点，例如由于晶体管的多样性，在设计图上相同的晶体管产生的电流可以相差±50%。相比之下，数字超大规模集成电路虽然比较精确，速度更快，设计更容易，但需要消耗更多的功率。德尔门德拉·莫德哈（Dharmendra Modha）在加利福尼亚州阿尔马登市（Almaden） IBM研究所的团队开发了一款数字芯片，包含4096个处理核心和54亿个晶体管，被称为“True North”。^[12]尽管该芯片可以被配置来实现模拟100万个突触神经元，并连接2.68亿个突触，却仅仅需要消耗70毫瓦的功率。但是这些突触的强度是固定的，这种不变性限制了对许多重要特征的实现，如强度的弱化或增强。

具有脉冲神经元的网络还有另一个缺点，即梯度下降。脉冲时间是不连续的，而梯度下降要求神经元的输入输出值在时间上是连续的。这就限制了可训练脉冲网络的复杂性。梯度下降在训练“输出随输入连续变化”神经元的深度网络方面取得了巨大成功，神经元的输出函数是可微分的，这是反向传播学习算法的基本特征。尽管在不可微分脉冲网络中，脉冲的发生不具有连续性，但是我实验室的博士后研究员本·哈（Ben Huh）最近克服了这个缺点，他找到了一种方法，能够让脉冲神经元的循环网络模型使用梯度下降，在长时间序列上执行复杂的任务。^[13]这一成果打开了深度脉冲网络的大门。

摩尔定律的终结

正如摩尔定律预测的那样，自20世纪50年代数字计算机发明以来，计算机的能力增加了超过1万亿倍。从来没有技术能以如此高的数量级呈指数增长，计算机已经融入了几乎所有制造设备，从玩具到汽车。计算机可以自动调节现代望远镜的自适应光学系统，以最大限度地提高其分辨率；它们可以分析现代显微镜捕获的光子，以超分辨率定位分子。当今的每一个科技领域都依赖于超大规模集成电路芯片。

卡弗·米德预测，这些芯片的升级是基于缩小元件间线宽的可能性，但是目前的宽度已经达到了物理极限：导线中的电子太少，可能会泄漏或被随机电压阻挡，甚至使数字电路都不再可靠。^[14]摩尔定律要终结了吗？我们需要完全不同的体系结构来继续提高处理能力，这种结构能够不依赖于数字设计的完美精度。正如混合动力汽车将电动机的效率与汽油发动机的续航结合起来一样，混合数字和神经形态设计正在兴起，能够将神经形态芯片的计算低功耗与通信数字芯片的高带宽相结合。

摩尔定律的表述仅仅是基于芯片的处理能力。随着并行架构在随后50年内的不断发展，摩尔定律应该被考虑了能量和吞吐量的定律所取代。在俄勒冈州波特兰举办的英特尔2018 NICE大会上，来自美国和欧洲的研究人员展示了三款新的神经形态芯片：来自英特尔的Loihi研究芯片，以及由欧洲人类大脑项目支持的两款第二代芯片。随着大规模并行体系结构的发展，能够在这些体系结构上运行的新算法也陆续被创造出来。但是这些体系结构中的芯片需要交流信息，这也是第15章所要讨论的内容。

[1] R. Blandford, M. Roukes, L. Abbott, and T. Sejnowski, “Report on the Third Kavli Futures Symposium: Growing High Performance Computing in a Green Environment,” September 9–11, 2010, Tromsø, Norway, http://cnl.salk.edu/Media/Kavli-Futures.Final-Report.11.pdf.

[2] Carver A. Mead and George Lewicki, “Silicon compilers and foundries will usher in user-designed VLSI,” ElectronicsAugust 11, 55, no. 16 (1982): 107–111. ISSN 0883- 4989.

信息科学

我从来没有想过，有一天我会成为无所不知的人，而事实上，我和现在任何能上网的人都做到了。信息在互联网上以光速传播，从互联网上获取信息比从书架上的书里获取信息更方便。我们生活在各种形式的信息爆炸的时代。科学仪器，从望远镜到显微镜，搜集的信息量远超现在训练机器学习所使用的数据集。美国国家安全局使用机器学习来过滤他们从各处搜集到的信息。经济活动走向了数字化，许多公司对有编程技能的人才的需求量与日俱增。在世界从工业经济走向信息经济的同时，教育和职业培训也必须适应这一变化。这一切已经对我们的世界产生了深远影响。

用字节丈量世界

1948年，在AT&T公司位于新泽西州默里山（Murray Hill）的贝尔实验室里，克劳德·香农（Claud Shannon，见图15–1）提出了一种非常简单却很微妙的信息理论，来理解有噪声的电话线里的信号传输问题。^[1]香农的理论推动了数字通信的革命，并为移动电话、数字电视以及互联网的诞生奠定了基础。打电话的时候，你的声音被编码为“比特”，通过无线电波和数字电缆传送到接收端，接收端再将比特解码并转化为声音。信息论给通信信道（图15–2）的带宽确定了上限，逼近香农极限的不同编码也被设计了出来。

15

尽管世界上的信息形式丰富多样，有一种测量方式却能够精确测量一个数据集中信息的大小。信息的单位是二进制比特，每个比特只能有0或1两种值。一个字节包含8个比特。高质量照片的信息内容以兆字节或者说百万字节计数。手机的存储信息以吉字节（GB）或称千兆字节计数。网络上的数据以拍字节（PB）或称百万吉字节计数。

用数学思维解决通信难题

在IEEE（电气和电子工程师协会）的年度国际研讨会上，IEEE信息理论学会（ITS）都会颁发“克劳德·香农奖”，这是表彰这一领域杰出研究成果的高级荣誉。在1985年英国布莱顿举办的该学会的会议上，“香农奖”被颁发给了南加州大学的所罗门·哥伦布（SolomonGolomb ， 图 15–3 ） ， 他 在 移 位 寄 存 器 序 列 （ shift registersequences）方面的工作为现代数字通信奠定了基础。^[2]移位寄存器序列是一种生成0和1的长伪随机序列的算法。每次你用手机打电话时，都使用了移位寄存器序列。哥伦布展示了如何使用移位寄存器序列对信号进行高效编码，然后可以在接收器处传输和解码。如果将手机和其他通信系统产生移位寄存器序列的次数累加起来，得到的数字将 是 惊 人 的 ： 超 过 千 秭 次 ， 即 10²⁷ 次(1,000,000,000,000,000,000,000,000,000)。^[3]