人工智能时代：破解人机共存密码（套装共10册）

伊隆·马斯克、斯蒂芬·霍金以及立法者和研究人员，都曾呼吁对人工智能进行规范。2015年，3722位人工智能和机器人研究人员共同签署了一封公开信，呼吁禁止使用自动武器：

综上所述，我们认为人工智能在很多方面都具有造福人类的巨大潜力，这也应该是该领域的目标。但开始人工智能军备竞赛不是一个好主意，应该通过法令禁止超出人类合理控制范围的自动攻击性武器。^[30]

这一禁令本意是好的，但也可能适得其反。并非所有国家都会遵循禁令。俄罗斯总统普京就曾发表过这样的言论：

人工智能是未来，不仅对俄罗斯来说是这样，对全人类也是一样。它带来了巨大的机会，但也会带来难以预测的威胁。无论谁成为这个领域的领导者，都将统治全世界。^[31]

全面禁令的问题在于人工智能不是一个孤立的领域，而是一个拥有许多不同工具和应用的领域，其中每一样都会产生不同的结果。例如，信用评分的自动化是机器学习在20世纪80年代的早期应用。有人担心，如果他们碰巧住在声誉不好的社区内，就会得到不公正的评分。这就催生出了对用于计算分数的信息进行限制的法律规定，并要求公司通知个人如何提高分数。每个申请都存在不同的问题，最好根据具体情况进行处理，而不是盲目禁止相关研究。^[32]

1987年学术休假期间，我拜访了索尔克研究所的弗朗西斯·克里克，那会儿我在加州理工学院担任神经生物学Cornelis Wiersma客座教授。弗朗西斯当时正在建立一个实力雄厚的视觉研究小组，这是我特别感兴趣的研究题目之一。我在教员午餐时间演示了我的话语网络样带，引发了热烈的讨论。我在1989年搬到拉荷亚，这标志着我从约翰·霍普金斯大学的初级教员转变为索尔克研究所的高级教员，真令人兴奋。几乎在一夜之间，很多机会都向我敞开了怀抱，其中包括霍华德·休斯医学研究所（Howard Hughes Medical Institute）的一项任命，该机构为我26年的研究提供了慷慨的支持。

1989年加入加州大学圣迭戈分校时，我遗憾地发现，那位教授我们反向传播理论的大卫·鲁姆哈特已经去了斯坦福大学，在那之后我很少有机会再见到他。多年来，我注意到大卫的行为方式发生了令人不安的变化。最终，他被诊断患有额颞叶痴呆——患者大脑的额叶皮层中的神经元会逐渐流失，对他的性格、行为和语言造成影响。2011年，鲁姆哈特在他68岁时去世了，那时他已经认不出家人或朋友了。

[1] 加州大学圣迭戈分校的认知科学系，由人类和人体工程学专家唐·诺曼（DonNorman）创立，拥有一支不拘一格的教师队伍。

[2] 反向传播学习算法中使用的数学已经存在了一段时间，可以追溯到20世纪60年代的控制理论文献，但是其最大的影响体现于在多层感知器中的应用。参阅Arthur E. Brysonand Yu-Chi Ho, Applied Optimal Control: Optimization,Estimation, andControl(University of Michigan, Blaisdell, 1969).

[3] 参阅迈克尔·I. 乔丹（Michael I. Jordan）具有权威性的关于现代随机梯度下降 的 演 讲 ： “On Gradient-Based Optimization: Accelerated,Distributed,Asynchronous, and Stochastic,” May 2, 2017, Simons Institutefor the Theory of Computing, UC, Berkeley.https://simons.berkeley.edu/talks/michae-ljordan-2017-5-2/.

[4] D. E. Rumelhart, G. E. Hinton, and R. J. Williams, “Learning Representations by Back-Propagating Errors,” Nature323, no. 6088 (1986), 533–536.

[5] 有一个在人群中被广泛传播的故事。伯特兰·罗素曾经就天文学发表过公开演讲。在讲座结束时，房间后面的一位老妇人起身说道：“你讲的那些都是胡说八道。这个世界就是在一只巨大的乌龟背上。”罗素微笑着问：“那乌龟站在什么地方呢？”“你非常聪明，

[22] 对突触维度的粗略估计，可以通过对突触数量的下限和上限乘积取平方根来得到。Lawrence Weinstein and John A. Adam, Guesstimation: Solving the World’sProblems on the Back of a Cocktail Napkin (Princeton: Princeton UniversityPress,2009), 3. 以皮层突触总数，100万亿，为上限，并以单个神经元上突触的数量，1万，为下限，表示复杂对象所需的突触数量的粗略估计约为10亿。对所需的神经元数量应用相同的经验法则：皮层中的神经元数量上限为100亿，下限为一个神经元，因此表示复杂对象所需的神经元数量为10万个，大约相当于一平方毫米皮层下的神经元数量。但这些神经元可能广泛分布在皮层的不同部位。我们可以估计出必须相互连接才能代表一个概念的皮层区域的数量：皮层区域总数的上限为100，下限为1，因此估计值为10个皮层区域，每个区域包含1万个神经元。“BRAIN计划”正在开发的新技术将通过实验来确定这些数字。

[24] https://www.Facebook.com/yann.lecun/posts/10154938130592143/.

卷积学习

到了2000年，自20世纪80年代兴起的神经网络热潮已经退去，神经网络再次成为常规科学。托马斯·库恩（Thomas Kuhn）曾将科学革命之间的时间间隔描述为，科学家在一个已经确定的范式或解释框架内进行理论推定、观察和试验的常规工作阶段。^[1]1987年，杰弗里·辛顿去了多伦多大学，并继续着渐进式改进，虽然这些改进都没有像曾经的玻尔兹曼机那样展现出魔力。辛顿在21世纪头十年成为加拿大高等研究院（Canadian Institute for Advanced Research，简称CIFAR ） 神 经 计 算 和 自 适 应 感 知 项 目 （ Neural Computation andAdaptive Perception，简称NCAP）的带头人。该项目由来自加拿大和其他国家的约25位研究人员组成，专注于解决机器学习的难题。我是由杨立昆担任主席的NCAP顾问委员会的成员，会在每年NIPS会议召开之前参加该项目的年会。神经网络的先驱们在缓慢而稳定的过程中探索了机器学习的许多新策略。虽然他们的网络有许多有价值的应用，但却一直没有满足20世纪80年代对该领域抱有的很高的期望。不过这并没有动摇先驱者们的信念。回想起来，他们一直是在为飞跃性的突破奠定基础。

机器学习的稳步发展

NIPS会议是20世纪80年代神经网络的孵化器，为其他可处理大型高维数据集的算法打开了大门。弗拉基米尔·瓦普尼克的支持向量机于1995年引发了轰动，为20世纪60年代就被遗弃的感知器网络开辟了一个新篇章。使支持向量机成为功能强大的分类器，并出现在每个神经网络工作者工具包中的，是“内核技巧”（kernel trick），这是一种数学转换，相当于将数据从其采样空间重新映射到使其更容易被分离的超空间。托马索·波吉奥开发了一种名为“HMAX”的分级网络，可以对有限数量的对象进行分类。^[2]这表明，网络的性能会随着其深度的增加而提高。

09

在21世纪的头几年里，图形模型被开发出来，并与被称为“贝叶斯网络”（Bayes networks）的丰富的概率模型相结合，后者是基于18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出的一个定理，该定理允许使用新的证据来更新先前的信念。加州大学洛杉矶分校的朱迪亚·珀尔，在早些时候曾将基于贝叶斯分析的“信念网络”（belief networks）^[3]引入人工智能，通过开发能够利用数据在网络中学习概率的方法，对贝叶斯分析进行了加强和扩展。这些网络以及其他网络的算法为机器学习研究人员打造出了强大的工具。

随着计算机的处理能力继续呈指数增长，训练更大规模的网络成为可能。大家曾普遍认为，具有更多隐藏单元、更宽的神经网络，比具有更多层数、更深的网络的效果更好，但是对于逐层训练的网络来说并非如此， ^[4] 并且误差梯度的消失问题（the vanishing errorgradient problem）被发现减慢了输入层附近的学习速度。^[5] 然而，当这个问题最终被克服的时候，我们已经可以对深度反向传播网络进行训练了，而且该网络在基准测试中表现得更好。^[6]随着深度反向传播网络开始在计算机视觉领域挑战传统方法，2012年的NIPS大会上出现了这样一句话：“神经信息处理系统”里的“神经”又回来了。

在20世纪的最后10年以及21世纪前10年的计算机视觉领域，在识别图像中的对象方面取得的稳步进展，使得基准测试（用于比较不同方法）的性能每年能提高百分之零点几。方法改进的速度十分缓慢，这是因为每个新类别的对象，都需要有关专家对能够将它们与其他对象区分开来所需的与姿态无关的特征进行甄别。随后，在2012年，杰弗里·辛顿和他的两名学生艾力克斯·克里泽夫斯基（AlexKrizhevsky）和伊利娅·苏特斯科娃向NIPS会议提交了一篇论文，关于使用深度学习训练AlexNet识别图像中的对象，AlexNet是本章要重点讨论的深度卷积网络。^[7]以拥有22 000多个类别，超过1 500万个标记过的高分辨率图像的ImageNet数据库作为基准，AlexNet史无前例地将识别错误率降低到了18%。^[8]这次性能上的飞跃在计算机视觉社区中掀起了一股冲击波，加速推动了更大规模网络的发展，现在这些网络几乎已经达到了人类的水平。到2015年，ImageNet数据库的错误率已降至3.6%。^[9]当时还在微软研究院的何恺明及其同事使用的低错误率深度学习网络，在许多方面都与视觉皮层十分相似；这类网络由杨立昆最早提出，并最初把它命名为“Le Net”。

20世纪80年代，杰弗里·辛顿和我第一次见到这个法国学生杨立昆（见图9–1，右）。他9岁时，就深受1968年史诗级的科幻电影《2001太空漫游》（2001: A Space Odyssey）中的任务计算机HAL9000的启发，想要开发人工智能。他曾独立发明了反向传播误差算法的一种版本，并记录在他1987年的博士论文中，^[10]之后他就搬到多伦多，加入了杰弗里的团队。后来，他转去了美国电话电报公司（AT&T）在新泽西州霍姆德尔（Holmdel）的贝尔实验室，在那里他创造了一个可以读取信件上的手写邮政编码的网络，采用修订的美国国家标准与技术研究院（Modified National Institute of Standardsand Technology，简称MNIST）数据库作为一种标记数据基准。每天有数百万封信件需要递送到信箱里；而今天，这个过程是完全自动化的。同样的技术也可以用来自动读取ATM机上银行支票的金额。有趣的是，最难的部分其实是查找支票上数字的位置，因为每张支票都有不同的格式。早在20世纪80年代，杨立昆就显露出了证明原理（学者们擅长的事情）并将之应用在现实世界中的非凡天赋。后者要求实际产品必须经过严格的测试，且表现稳健。