人工智能时代：破解人机共存密码（套装共10册）

深度学习是高度计算密集型的，该过程目前在中央服务器上完成，计算结果会被传送到手机等周边设备。最终，周边设备应该是自主运行的，这就需要完全不同的硬件——比云计算轻得多，耗电也更少。幸运的是，这样的硬件已经存在了，即受大脑启发设计出的神经形态芯片。

视网膜芯片

1983年，我在匹兹堡郊外一个度假村里举行的研讨会上第一次见到了卡弗·米德（Carver Mead）（见图14–1）。那时杰弗里·辛顿创建了一个小组来探索神经网络研究的发展趋势。米德因其在计算机科学领域的重要贡献而闻名。他第一个认识到，随着大规模集成电路芯片上的晶体管变得越来越小，芯片将越来越高效，计算能力也应该会持续增长很长一段时间。他还创造了“摩尔定律”这个术语，根据戈登·摩尔（Gordon Moore）的观察，芯片上的晶体管数量每18个月会翻一番。1981年，卡弗发明了硅编译器，从此成为业界传奇。硅编译器是一种自动在芯片上设计系统级功能模块和布线的程序。^[2]在硅编译器诞生之前，每款芯片都是由工程师基于经验和直觉手工制作出来的。从本质上讲，米德的解决方案是让计算机自己设计芯片。这是我们迈向纳米工程的起点。

图14-1 1976年的卡弗·米德。正是在那段时期，他在加州理工学院创造了第一个硅编译器。卡弗是一位有远见的人，他的洞察力和引领的技术进步对数字和模拟计算产生了重大影响。桌上的电话暗示了照片的拍摄时间。图片来源：加州理工学院。

米德是一位颇有远见的人。我们曾一起在匹兹堡郊外参加一个研讨会。尽管大家挤在楼上一个小房间里的桌子边上讨论，但是正在进行着的是一场关于超级计算机的会议。当时Cray和Control Data等主流超级计算机公司正在设计专用硬件，比我们实验室的计算机快了数百倍，售价高达1亿美元。Cray超级计算机速度如此之快，不得不用氟利昂进行液体冷却。米德告诉我，超级计算机公司还不知道，通用微处理器将会占领它们的市场，这些公司很快就会销声匿迹。虽然比超级计算机中的专用芯片慢得多，但得益于因缩小基本器件尺寸所带来的成本压缩和性能改进，个人计算机中的微处理器进化得比超级计算机中的还要快。现在手机中的微处理器的计算能力是20世纪80年代Cray XMP超级计算机的10倍，现在的高性能超级计算机拥有数十万个微处理器核心，每秒进行的浮点运算达到了千万亿次级别，比已经消失的Cray超级计算机快100万倍。考虑到通货膨胀，两者的成本大致是相同的。

在1983年的那次研讨会上，米德向我们展示了一个硅视网膜，它使用了与超大规模集成电路芯片相同的制造技术，但使用了模拟而非数字电路。在模拟电路中，晶体管上的电压可以连续变化，而数字电路中的晶体管只能采用“开”或“关”两个二进制值中的一个。人的视网膜上有一亿个光感受器，与相机将信息从光子桶（photonbuckets）传动到记忆体的方式不同，视网膜具有多层神经处理功能，可将视觉输入转换为高效的神经编码。视网膜的所有处理过程都是模拟的，直到其编码信号到达神经节细胞，神经节细胞将这些信号沿着100万个轴突，以“全或无”的放电脉冲形式传送到大脑。脉冲信号的“全或无”特征就像数字逻辑，但放电脉冲的时间是一个模拟变量，没有时钟同步，因此放电脉冲序列是一种混合编码。

在米德的视网膜芯片中，处理过程的分级部分是通过使用位于阈值拐点以下，从“关”到接近“关”状态的电压来完成的。与之相反，在数字模式下运行时，晶体管迅速跳到完全“导通”的状态，这需要消耗更多的功率。因此，模拟超大规模集成电路芯片仅消耗数字芯片所需能耗的一小部分，从纳瓦到微瓦，而不是从毫瓦到瓦，能量效率提升了数百万倍。米德是神经形态工程的创始人，他致力于构建基于大脑式算法的芯片，在1989年，他表明嵌入在昆虫和哺乳动物眼睛神经环路中的神经算法，可以有效地复制到芯片上。^[3]

视网膜芯片是米德的明星研究生米莎·马霍沃德（MishaMahowald）于1988年创造的一项令人印象深刻的发明（见图14–2）。^[4]她在加州理工学院读本科时主修的是生物学。在研究生阶段，她从事的是电子工程领域的工作。这两个领域的结合所带来的洞见帮助她获得了四项专利。1992年，她的博士论文描述了在芯片上的实时双目匹配，这是第一个真正使用集群行为完成艰巨任务的芯片。为此她获得了加州理工学院的米尔顿和弗朗西斯·克拉泽奖（Miltonand Francis Clauser Prize）。1996年，她的名字还被列入了国际技术女性（Women in Technology International，WITI）名人堂。

晶体管在阈值附近的物理特性，与生物膜中离子通道的生物物理特性之间存在密切的对应关系。马霍沃德与牛津大学的神经科学家凯万·马丁（Kevan Martin）和罗德尼·道格拉斯（Rodney Douglas）合作开发过硅神经元，^[5]并随同他们一起搬到了苏黎世，帮助他们在苏黎世大学和瑞士联邦理工学院建立了神经信息学研究所（见图14–3）。然而后来，在经历了抑郁症的折磨之后，米莎于1996年结束了自己的生命，时年33岁。一位杰出的新星就此陨落。

卡弗·米德于1999年从加州理工学院退休后搬到了西雅图，2010年我去拜访过他。在他家的后院，可以看到飞机飞过水面有序地降落到Sea-Tac机场。他的父亲是一位工程师，在大溪水电项目的一座发电厂工作，该项目是位于加州中部内华达山脉圣华金河上游系统的一个大型水电项目。从早期的水电技术向微电子技术的飞跃，仅仅花了一代人的时间，真令人难以置信。卡弗的爱好是收集用于悬挂电线的古董玻璃和陶瓷绝缘子。如果你选对了地点，就会像寻找散落的印第安箭头一样轻松地找到它们。卡弗目光长远（他拥有一台激光陀螺仪，曾经被用来测试量子物理学的新方法），^[6]而他之所以如此高效，是因为他致力于打造不仅能够正常运转，还可以被你拿在手中把玩的东西。

神经形态工程

1990年，作为在加州理工学院休学术年假的仙童杰出学者，我喜欢参加实验室会议，尤其是克里斯托弗·科赫（Christof Koch）（一位和我有着共同兴趣的计算神经科学家）和他的同事的会议，以及Carverland，即卡弗·米德的研究小组的会议。Carverland有一个令人惊叹的项目——硅耳蜗，它具有和我们耳中的耳蜗相类似的频率调谐电路。其他研究人员正在研究硅突触，包括模仿突触可塑性的硅机制，以便可以在硅芯片上实现长期的权重变化。来自Carverland研究小组的学生从那时开始走出实验室，进入了世界各地的工程学院。

1993年，克里斯托弗·科赫、罗德尼·道格拉斯和我成立了由NSF赞助的神经形态工程研讨会，每年7月在科罗拉多州特柳赖德（Telluride）市举行为期三周的会议。这个研讨会是国际性的，参会的学生和教师来自不同的背景和国家。与大多数讲座多于实践的研讨会不同，特柳赖德研讨会的房间里挤满了用微芯片来构建机器人的学生。不过有一个问题，将视网膜芯片连接到视觉皮层芯片，再将皮层芯片连接到电机输出芯片，这一步骤需要用到大量的连线。

用放电脉冲（spikes）连接模拟大规模集成电路芯片则要好得多，我们的大脑通过白质的长距离轴突传输信息也是利用了这种方式，这些白质构成了我们一半的大脑皮层。但将视网膜芯片和皮层芯片通过上百万根线连接起来却完全行不通。幸运的是，快速的数字逻辑可以用来使每根导线多路复用，让许多视网膜细胞能够与同一导线上的多个皮层细胞进行通信。这一过程是通过发送芯片，把每一个原始脉冲的地址发送给接收芯片来实现的，接收芯片解码地址，并路由到与它相连接的相应单元，即所谓的“地址事件表示”（addressevent representation）。

托拜厄斯·德尔布吕克（见图14–4）是卡弗·米德的研究生之一，^[7]他现在在苏黎世大学神经信息学研究所工作。2008年，他开发了一种非常成功的脉冲视网膜芯片，叫作“动态视觉传感器”（Dynamic Vision Sensor，以下简称DVS）。这个芯片可以简化一些视觉任务，例如跟踪移动物体，或用两台摄像机对物体进行深度定位（见图14–4，下图）。^[8]传统的数码相机是基于图像帧的，录制视频的过程就是存储一系列间隔大约26毫秒的图像。这种做法会丢失帧与帧之间的信息：设想一个旋转的托盘，转速是每秒200转，盘上有一个光点随盘转动；该光点会在每一帧中旋转5次，但是数码相机的回放效果看起来像一个静态环（见方框14.1）。相比之下，德尔布吕克的脉冲摄影机可以以微秒级的精度跟踪移动点，并且只需很少量的脉冲，因此速度很快，而且效率很高。作为第一款基于脉冲和触发定时的新一代传感器，DVS相机具有很大的潜力，可以改善包括自动驾驶汽车在内的许多应用的性能。2013年特柳赖德研讨会的其中一个项目，就是用它来阻挡来自桌面的进球（见图14–5）。

图14-4 动态视觉传感器（DVS）。（上图）托拜厄斯·德尔布吕克拿着他在苏黎世大学神经信息学研究所发明的DVS相机。这种相机采用了专用芯片，可以异步发射脉冲，而不是像数码相机那样按帧采集图像。（下图）相机的镜头将图像聚焦在模拟超大规模集成电路芯片上，芯片会对每个像素上光强度的增加或减少进行检测。脉冲沿着“开启”（on）导线发出正增量，并沿着“关闭”（off）导线发出负增量。输出脉冲由电路板处理，电路板会显示出例如方框14.1中的脉冲图案。你的视网膜是一台非常先进的DVS相机。来自视网膜的脉冲图案在大脑中发生了转换，但该模式仍然保留了脉冲——你的大脑中并不存在任何完整的图像，即使你是以这种方式感知世界的。上图来源：托拜厄斯·德尔布吕克。下图来源：三星。

14.1

动态视觉传感器的工作原理

在上图DVS摄像机的图像帧中，白点是来自“开”（on）通道的脉冲，黑点是来自“关”（off）通道的脉冲。灰色表示没有脉冲。在左上方的图片中，可以检测到两个脸部，因为它们在26毫秒的帧间隙内发生了轻微的移动。在右上角的（杂耍）图片中，斑点的到达时间由灰度表示，因此就能看到物体的移动轨迹。左下方图片中的旋转盘以每秒200转（rps）的速度旋转。在底部中间的图片中，轨迹是向上移动的螺旋。右下方螺旋短暂的300微秒切片中，只有80个脉冲，通过测量黑色和白色脉冲的位移，并除以时间间隔，很容易计算出速度。请注意，具有26毫秒取帧周期的普遍数码相机无法跟随以200赫兹旋转的点，因为旋转周期为5毫秒，并且每个帧都显示了一个环。DVS相机的唯一输出是一串脉冲，就像视网膜一样。这是表现场景的有效方式，因为大部分像素在大多数时间都保持不变，而每个脉冲都携带着有用的信息。