人工智能时代：破解人机共存密码（套装共10册）

另一个学会了如何形成英语动词过去时的网络，成了认知心理学领域中备受争议的问题，基于规则的保守派与前卫的PDP研究组展开了激烈的争论。^[11] 形成过去时的常规方法是给英文动词加上后缀“ed”，例如把“train”变成“trained”。但是有不规则形式的例外，例如把“run”变成“ran”。神经网络可以很好地适应规则和例外情况。虽然人们在这一点上已经很少争论了，但关于规则的显式表征（explicit representation）在大脑中的角色这一问题，仍然有待回答。最近利用神经网络学习语言的实验支持了屈折形态学（inflectional morphology）中的逐步获取概念，这与人类的学习方式是一致的。^[12]深度学习与谷歌翻译和其他自然语言应用相结合，在捕捉语言细微差别上获得的成功，进一步支持了大脑不需要使用显式语言规则的可能性，即便其实际行为可能体现了相反的结论。

杰弗里·辛顿、大卫·图雷斯基（David Touretzky）和我于1986年在卡内基–梅隆大学组织了第一期联结主义暑期课程（见图8–3），那时候只有少数几所大学开设了神经网络课程。在一个基于话语网络的小游戏中，学生们逐层列队，每个学生代表网络中的一个单元（尽管他们在传播“Sejnowski”中的“j”时发生了错误，因为它的发音类似于“y”，并不遵循英文发音模式）。这些学生中的许多人随后都陆续获得了重要发现，并开创了各自的事业。1988年，第二期暑期课程在卡内基–梅隆大学开办，1990年第三期的举办地是加州大学圣迭戈分校。新的想法在经历了一代人的时间后，才进入主流研究领域。这些暑期课程让所有人受益匪浅，也是我们在早期推广该领域的最佳投资。

神经网络的重生

由鲁姆哈特和麦克莱兰编辑的两卷《并行分布式处理》于1986年出版，已经成为当今的经典著作。这是第一套阐述神经网络和多层学习算法对理解精神和行为现象的影响的书籍。它的销量超过了5万套，在学术领域算得上是畅销书了。神经网络在经过了反向传播的训练后，其隐藏单元具备了类似视觉系统中皮层神经元的属性，^[13]而且其展现出的故障模式，也和人类在大脑受损后产生的缺陷有很大的相_似性。[14]

弗朗西斯·克里克是PDP小组的成员，参加了小组大部分的会议和讲座。在关于并行分布式处理模型如何具有生物特性的争论中，他认为应该将它们看作可行性证明，而不是大脑的标准模型。他为 《并行分布式处理》一书撰写了其中一个章节，介绍了当时我们所了解的大脑皮层。而我写的那一章，则总结了当时我们对大脑皮层的哪些方面还不太了解。如果这些章节是今天写下的，都会比原来的版本要长得多。

20世纪80年代还有一些成功案例并不为人所知。基于神经网络技术的最赚钱的公司之一是HNC Software有限公司，由罗伯特·赫克特–尼尔森（Robert Hecht-Nielsen）创立，该公司使用神经网络来防止信用卡欺诈。赫克特–尼尔森曾在加州大学圣迭戈分校的电子与计算机工程系任教，教授过一门关于神经网络实际应用的热门课程。每天都有信用卡信息被全球网络犯罪分子盗取。信用卡的交易数据规模十分庞大，从中挑出可疑的信息是一项艰巨的任务。在20世纪80年代，工作人员要在短时间内做出是否批准或拒绝某项信用卡交易的决定，而这导致了每年1500多亿美元的交易存在欺诈行为。HNCSoftware有限公司使用神经网络学习算法，以远高于人类的准确度检测信用卡欺诈行为，每年为信用卡公司节省了数十亿美元。2002年，HNC被美国个人消费信用评估公司（Fair Isaac and Company，FICO）以 10亿美元的价格收购，后者以发布信用评分而闻名。

观察神经网络的学习过程颇有些神奇，它不断以微小的步伐优化自身的表现。这个过程会十分缓慢，但是如果有足够的训练样本，并且网络足够大，学习算法就可以找到一个很好的能够泛化的表征方式，以适应新的输入。采用随机选择的一组初始权重并重复该训练过程时，每次都会学习到不同的网络，但都具有相似的性能。许多网络可以解决同样的问题，这就暗示了当我们重建不同个体大脑的完整连接集时，应该怀有何种期待。如果许多网络表现出了相同的行为，理解它们的关键就在于大脑所使用的学习算法，而这个算法应该更容易被发现。

理解真正的深度学习

在凸优化（convex optimization）问题中，不存在局部最小值，可以保证收敛发生在全局最小值处。但在非凸优化问题中，情况就不同了。优化专家告诉我们，由于在隐藏单元网络中学习是一个非凸优化问题，所以我们只是在浪费时间——我们的网络会陷入局部最小值（见图8–4）。但经验证据表明，他们错了。为什么呢？我们现在知道，在维度很高的空间中，代价函数的局部最小值是很罕见的，直到学习的最后阶段才会出现。在早期阶段，几乎所有的方向都是下坡，而在下坡的过程中存在鞍点，一些方向会错误地开始上升，而在其他维度则继续下降。产生网络会陷入局部最小值的直觉，是因为解决低维空间中的问题时，逃生方向的数量要少得多。

目前的深层网络模型有数百万个单元和数十亿的权重。统计学家在传统上只用少量参数分析简单模型，这样就可以用较小的数据集来证明定理。而拥有数十亿个维度的空间对他们来说简直就是一场噩梦。他们向我们保证，有这么多的参数，对数据的过度拟合绝对是不可避免的：我们的网络只会简单地记住训练数据，但无法泛化以适应新的测试输入。但是，使用正则化（regularization）手段，比如在已有权重对学习没有任何贡献时，可以通过强迫它们进行衰减来缓解过度拟合的现象。

一个特别巧妙的正则化技术，叫作“失活”（dropout），其发明者是杰弗里·辛顿。^[15]在每个学习周期（epoch），当从许多训练实例中估计出梯度，并对权重进行更新时，有一半的单元就会被随机地暂时从网络中剔除——这就意味着，每个周期中训练的都是不同的网络。其导致的结果就是，在每个周期中需要训练的参数都更少，并且与在每个周期中训练相同的大型网络相比，单元之间的依赖关系更少。失活过程将深度学习网络的错误率降低了10%，这是一个很大的改进。2009年，网飞（Netflix）举办了一场公开竞赛——第一个将他们推荐系统的错误减少10%的人，会得到100万美元的奖金。^[16]几乎每个机器学习领域的研究生都参与了竞争。网飞的这笔奖金很可能启发了价值1000万美元的研究。现在，深度网络已经成为在线流媒体的核_心技术。^[17]

有趣的是，皮层突触会以很高的速度失活。对于来自输入的放电，皮层中典型的兴奋性突触都有90%的失败率。^[18]这就像一个棒球队，几乎所有球员的击球成功率都是0.1。大脑是如何利用这种不可靠的皮层突触来实现可靠的功能呢？当每个神经元上存在数千个概率突触时，其活动总和的多样性相对较低，^[19]这意味着其性能可能不会像你想象的那样大规模地下降。学习过程中在突触层面发生失活的好处，可能远大于准确性降低的代价。而且由于突触需要消耗大量的能量，失活也可以节省能量。最后，皮层使用概率来计算可能的，而非确定的结果，所以使用概率性分量是表示概率的有效方式。

虽然皮层突触也许并不可靠，但是它们的强度却惊人的精确。皮层突触的大小及其相应的强度在100倍的范围内变化，单一突触的强度可以在此范围内增加或减少。与得克萨斯大学奥斯汀分校的神经解剖学家克里斯汀·哈里斯（Kristen Harris）合作，我的实验室最近重建了一小块大鼠的海马体，这是大脑中形成长期记忆所需的区域，其中包含450个突触。大多数轴突会在树突的分支上形成单个突触，但在少数情况下，一个轴突的两个突触会接触到相同的树突。令人惊讶的是，它们的尺寸几乎相同，之前的研究经验告诉我们，这意味着它们也具有相同的强度。人们已经了解了导致这些突触强度发生变化的条件。这些突触的强度变化取决于输入尖峰的历史和树突响应的电活动，对于来自同一个树突上相同轴突的一对突触来说也是如此。根据这些观察，我们推断信息存储在突触强度中的精度很高，足以存储至少5位信息。^[20]深度循环网络的学习算法只需要5位就能实现高水平的性能，这很可能不是巧合。^[21]

大脑网络的维度非常高，我们对其甚至没有很好的估计。大脑皮层中的突触总数约为100万亿，几乎是个天文数字。人类的寿命不过几十亿秒。以这样的速度，你可以为你生活中的每一秒贡献出10万个突触。在实际情况中，神经元往往具有聚集的局部连接，例如在由10亿个突触连接的由10万个神经元组成的皮层柱内。虽然这仍然是一个很大的数字，但还远算不上天文数字。长距离连接比本地连接要少得多，因为神经连接会占用宝贵的空间，并且会消耗大量能量。

代表皮层中一个对象或概念的神经元的数量，是一个重要的数字。粗略估计一下，需要的突触数量约为10亿，需要的神经元数量约为10万，分布在10个皮层区域中。^[22]也就是说，约10万个独立的、互不干扰的对象类别和概念存储在100万亿个突触中。在实际情况中，代表相似对象的神经元群是重叠的，这可以大大增加皮层表达相关对象和对象之间关系的能力。这种能力在人类中比在其他哺乳动物中要强大得多，因为人类大脑中的联合皮层（associative cortex，在感官和运动层级的上方）在进化过程中发生了显著的扩张。

高维空间中概率分布的研究在20世纪80年代还是一个相对而言未被开发的统计领域。有几位统计学家研究了在探究高维空间和高维数据集时出现的统计问题，例如斯坦福大学的里奥·布莱曼（LeoBreiman），他是NIPS社区中的一员。来自该社区的一些人，例如加州大学伯克利分校的迈克尔·乔丹（Michael Jordan）也在统计系任职。然而大多数情况下，大数据时代的机器学习已经发展到了令统计学家望而生畏的程度。但仅仅通过训练大型网络来做出令人惊叹的事情是不够的，我们也需要分析和理解它们是如何做到的。物理学家在这方面占据了领先地位，由于神经元和突触的数量越来越大，他们利用了统计物理学的方法来分析学习的特性。

2017年在长滩举办的NIPS会议上，“时间考验奖”（the Test ofTime award）被授予了加州大学伯克利分校的本杰明·雷希特（Benjamin Recht）和谷歌的阿里·拉希米（Ali Rahimi）在2007年联名发表的NIPS论文。^[23]该论文表明，随机特征可以有效地提高具有一层学习权重网络的性能的有效方法，这是弗兰克·罗森布拉特在1960年通过感知器的试验了解到的。拉希米在获奖后的演讲中发出了对机器学习严谨性的强烈呼吁，他感叹深度学习缺乏严谨性，并嘲讽它为“炼金术”。我当时正坐在早已火冒三丈的杨立昆（YannLeCun）旁边。听完演讲，杨立昆在一篇博客中写道：“批评整个团体（还是那个领域中非常成功的团体）是在钻研 ‘炼金术’，仅仅因为我们目前的理论工具还没有赶上我们的实践，这是十分危险的做法。为什么危险呢？正是这种态度，导致机器学习社区将神经网络的研究搁置了超过10年，尽管有充分的经验证据表明，它们在许多情况下运行良好。” ^[24] 这是一次经典的邋遢和整洁的科学方法之间的混战。想要取得进展，这两个都是不可或缺的。

神经网络的局限性

虽然神经网络可以给出一个问题的正确答案，但目前还没有办法解释它们是如何得到这个答案的。例如，假设一名感到胸部刺痛的女性患者来到急诊室。这是心肌梗死的一种症状，需要立即进行干预，还是仅仅是由一种严重的消化不良引起的呢？训练有素的神经网络可能会比医生做出更准确的诊断，但如果不清楚网络为何做出这样的决定，我们就有理由不信任它。医生和算法一样，也要接受一系列测试和决策点的指导，通过常规案例进行培训。但问题在于，有些罕见的情况并不在他们算法覆盖的范围之内，而神经网络则经历过更多案例的训练，远远超过一般医生在一生中会经历的，网络可能会很好地捕捉到这些罕见病例。但是，你会相信无法解释其理由，但从统计上来说诊断能力更强的神经网络，而不去相信看似有凭有据的医生吗？事实上，那些能够精确诊断罕见病例的医生都有着丰富的经验，并且大多数使用了模式识别而不是算法。^[25]对于各个领域的最高级别专家来说，情况可能都是如此。

正如可以训练网络来提供专业的诊断，是否有可能把其背后的解释作为训练集的一部分，来训练网络对其行为进行解释呢？这样一来也许还可以帮助改善诊断。这一建议是存在问题的，原因是医生给出的许多解释都是片面的、过度简化的，或错误的。每一代医疗实践与前一代相比都发生了巨大的变化，因为人体的复杂性大大超出了我们目前的理解能力。如果我们可以通过分析网络模型的内部状态来提取因果解释，就可能会产生能够推动医学发展的新的见解和假设。

神经网络是一个黑盒子，其理论尚无法被理解，这个陈述对大脑也成立。事实上，在给定相同数据的情况下，不同的个体做出的决定也会千差万别。我们的确还不清楚大脑是如何从经验中得出推论的。就如第三章所讨论的，结论并不总是基于逻辑，其中还存在认知偏差。^[26]此外，我们所接受的解释，往往仅仅是合理的解释或似是而非的故事。我们并不能排除某一天某个非常大的生成网络会突然开始说话的可能性，到时我们就可以向它寻求解释了。我们是否应该期待，能从这样的网络获得比从人类那里得到的更好的故事和合理的解释呢？回想一下，意识并不涉及大脑的内部运作。深度学习网络通常会按照排名次序提供几个而非一个主要的预测，这为我们提供了关于结论可信度的一些信息。监督神经网络只能解决用来训练网络的数据范围内的问题。如果接受过类似案例或样本的培训，神经网络应该在新案例做出一个很好的插值。但是，如果一项新的输入超出了训练数据的范围，进行外推（extrapolation）操作就比较危险了。这应该不会令人感到惊讶，因为同样的限制也适用于人类；我们不应该期望一个物理领域的专家在政治问题上，甚至是物理学中他专长之外的领域，提供良好的建议。但是，只要数据集足够大，能够涵盖全部的潜在输入，网络对新输入进行的泛化操作，结果应该也是不错的。在实践中，人们倾向于使用类比，从比较熟悉的领域推广到新的领域，但如果两个领域存在本质上的不同，这样的类比就是错误的。

所有对输入进行分类的神经网络都存在偏倚。首先，对分类类别的选择就引入了偏倚，这种偏倚反映了我们如何对世界进行分解。例如，训练一个网络来检测草坪上的杂草是非常实用的。但是怎么定义杂草呢？一个人认为是杂草，在另一个人看来可能是野花。分类是一个反应文化偏见的更宽泛的问题。用于训练网络的数据集加剧了这种不确定性。例如，有许多公司为执法机构提供基于面部识别的犯罪分子识别系统。黑人面部识别中出现的假阳性误判比白人面孔多，因为用于训练网络的数据库中有更多的白人面孔，你拥有的数据越多，准确率就越高。^[27]数据库偏差可以通过重新平衡数据来纠正，但不可避免地会存在隐藏的偏倚，这取决于数据的来源以及被用来做出什么样的决定。^[28]

另一个反对依赖神经网络的理由是，人们可能会以公平为代价来优化利润。例如，如果未被充分代表的少数群体中的人去申请住房抵押贷款，而已接受过数百万次申请培训的神经网络拒绝了该申请。对网络的输入包括当前地址，以及与少数群体高度相关的其他信息。因此，即使有反对明确歧视少数群体的法律，该网络也可能会利用这些信息来暗中歧视他们。这里的问题不在于神经网络，而在于我们让它优化的代价函数。如果利润是唯一的目标，网络就会使用被提供的任何信息来最大化利润。解决这个问题的方法是将公平性作为代价函数中的一个参数。虽然最佳解决方案是在利润和公平之间找到一种明智的平衡，但必须在代价函数中明确这种平衡，这就需要有人决定如何权衡每个目标的重要性。那些人文和社会科学领域的伦理观点应该为这些权衡提供指导。但我们必须时刻牢记，选择一个看似公平的代价函数可能会产生意想不到的后果。^[29]