--- schema_version: "library-reader-v1" source_type: "original_book" title: "AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的..." author: null edition: null publisher: null year: null isbn: null library_document_id: "75afffda-b96b-4df5-89ff-2ec037cfed66" source_sha256: "21c9bed4763f96ba9dce4c4e24be07b2ddb63e08acce9107a510c1026714c784" pdf_physical_page_count: 491 pdf_physical_page_index_base: 0 range_start: 190 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66?start=190&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=190&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=180&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=200&limit=10" --- # AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的... > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=190 | PRINTED_PAGE=NOT_DETECTED 注：在每一种情况下，在ImageNet训练集上训练后的AlexNet对“图像属于图下方文字表示的类别”均分配了大于99%的置信度。 该团队注意到，DNN会将这些对象视为近乎完美的可识别图像，所以，DNN是否具备真正的泛化能力？使用DNN的解决方案是否会因恶意应用这种漏洞可能性的存在，而产生高昂的潜在成本？这些问题是值得注意的 23 。 确实，这两篇论文及其后续的相关发现不仅为深度学习学术界提出了问题，也敲响了真正的警钟。如果在计算机视觉和其他任务上表现得如此成功的深度学习系统，很容易被人类难以察觉的操作所欺骗，我们怎么能说这些网络能够像人类一样学习，或在能力上可以与人类媲美甚至超过人类呢？很显然其中出现了一些与人类的感知截然不同的东西。如果我们要在现实世界中的计算机视觉领域运用这些网络，我们最好确保其受到保护，不被黑客运用这类操作来对它们进行欺骗。 ## PDF_PHYSICAL_PAGE_INDEX=191 | PRINTED_PAGE=NOT_DETECTED 所有这些问题重新激发了聚焦于“对抗式学习”的一小部分研究群体的活力。对抗式学习是指：制定策略来防御潜在的人类对手攻击机器学习系统。对抗式学习研究人员经常通过证实现有系统可能遭受的攻击方式来开展研究工作，并且最近的一些成果已经非常惊人。 在计算机视觉领域，有个研究团队开发了一个能够设计出具有特定图案的眼镜框的程序，愚弄了一个人脸识别系统，使其自信地将眼镜框的佩戴者错误地识别为另外一个人（见图6-6） 24 。另一个研究团队设计了可放置于交通标志上的不显眼的小贴纸，导致一个基于ConvNets的视觉系统（类似于自动驾驶汽车中使用的视觉系统）对交通标志进行了错误的分类，例如，将一个停车标志识别为限速标志 25 。还有一个团队证实了用于医学图像分析的DNN可能面临的一种对抗式攻击：以一种人类难以察觉但却会引发网络改变对图像的分类的方式来改变X射线或显微镜图像，是不难做到的，但却可能会导致网络对该图像的判定完全相反，比如说，从以99%置信度显示目标图像分类为无癌症，到以99%置信度显示存在癌症 26 。该组人员指出，此类攻击手段可能会被医院人员或其他人用于制造欺诈性诊断，以便向保险公司索取额外的诊断测试费用。 ## PDF_PHYSICAL_PAGE_INDEX=192 | PRINTED_PAGE=NOT_DETECTED 图6-6 DNN遭遇对抗式攻击的示例 注：一名人工智能研究人员（左）戴上一副经过特定模式设计的镜框后，被一个在名人脸上训练过的DNN脸部识别器确定地认成了米拉·乔沃维奇（MillaJovovitch）（右）。描述这一研究的这篇论文还给出了很多其他使用“对抗式”眼镜框图案对名人进行模仿的例子。 以上这些只是由不同研究团队发现的几个系统可能遭受攻击的案例。许多可能的攻击已经被证实具有惊人的鲁棒性：它们对很多网络都能起作用，即便这些网络是在不同的数据集上训练的。计算机视觉领域并不是神经网络可被愚弄的唯一领域，研究者还设计了一些能够愚弄用于语言处理（包括语音识别和文本分析）的DNN的攻击手段。我们可以预计，随着这些系统在现实世界中获得更加广泛的应用，恶意用户将会发现这些系统中的更多漏洞。 了解和防御此类潜在的攻击是目前人工智能的一个主要研究领域，虽然研究人员已经找到了针对特定类型攻击的解决方案，但仍未找到通用的防御方法。与计算机安全的任何领域一样，到目前为止的研究具有一种“打地鼠”的特点，即一个安全漏洞被检测出来并被成功防御后，总是会发现新的需要防御的漏洞。谷歌大脑团队的人工智能专家伊恩·古德费洛（IanGoodfellow）说道：“几乎所有你能想到的对一个机器学习模型有害的事，都可以在当下就做到……捍卫它真的是非常非常困难。” 27 除了如何防御攻击这个亟待解决的问题，对抗样本的存在放大了我之前提出的那个问题：这些网络到底学习了什么？尤其是，它们学习了什么使得自己能如此轻易地被愚弄？ 或者更重要的问题是：当我们认为这些网络已经真的学到了我们试图教给它们的概念时，我们是在自欺欺人吗？ ## PDF_PHYSICAL_PAGE_INDEX=193 | PRINTED_PAGE=NOT_DETECTED 在我看来，终极的问题是理解。考虑图6-4的情况，AlexNet错误地将校车分类成了“鸵鸟”，为什么人类不太可能发生这种情况？尽管AlexNet在ImageNet上表现得非常出色，但人类能够从所见对象中理解许多AlexNet或者说当前任何人工智能系统都无法获知的信息。我们知道对象在三维空间中的形态，并能够根据一张二维图像进行三维构想。我们知道一个给定对象的功能是什么、其各部分在整体功能中发挥何种作用，以及该对象通常出现的场景是什么。看到一个对象会使我们回忆起在其他情况下、从其他的角度以及在其他感官模式下看到该物体的情境，比如，我们记得一个给定对象感觉起来、闻起来，甚至是它掉在地上听起来是什么声音，等等。所有这些背景知识都被注入我们人类的能力中，支持我们稳定地识别给定目标，即便是当今最成功的人工智能视觉系统，也尚且缺乏这种理解能力及在目标识别方面的稳定性。 我曾听到某些人工智能研究人员争辩说，人类也一样容易受到我们自己的对抗样本的影响，比如视觉错觉。就像AlexNet会将校车分类为“鸵鸟”一样，人类则更容易犯感知错误，例如，我们会觉得图6-7中上方的线段比下方的线段要长，即便二者实际上长度相同。我们人类易犯的错误与ConvNets易犯的完全不同，我们识别日常场景中对象的能力已经进化得非常稳定了，因为我们的生存就依赖于此。与目前的ConvNets不同，人类和动物的感知受到认知的高度调节，这里的认知指的是我在前文描述的一种对情境的理解。此外，目前在计算机视觉应用中使用的ConvNets通常是完全前馈的，而人类视觉系统则具有更多的反馈连接。虽然神经科学家还不了解所有这些反馈连接的功能，但有一点可以推测，至少其中的某些反馈连接有效地防止了类似ConvNets易受对抗样本影响的那种漏洞，那么为什么不在ConvNets中植入同样的反馈连接呢？这是一个非常活跃的研究领域，但也是非常困难的，并且目前还未取得像前馈网络那样的成功。 ## PDF_PHYSICAL_PAGE_INDEX=194 | PRINTED_PAGE=NOT_DETECTED 注：（A）中的水平线段的长度和（B）中的相同，但大多数人却觉得（A）中的线段比（B）中的线段要长。 怀俄明大学的人工智能研究者杰夫·克卢恩（JeffClune）做了一个非常尖锐的比喻：“很多人好奇深度学习究竟是真正的智能还是‘聪明的汉斯’。” 28 汉斯是20世纪初德国的一匹马，其主人声称它可以进行算术计算并能听懂德语。这匹马通过用蹄子敲击的次数来回答诸如“15除以3等于多少”这类问题。在“聪明的汉斯”成为国际明星后，一项详细调查最终证实这匹马并没有真正理解给它的问题或数学概念，而只是通过敲击来回应提问者给出的微妙且常人难以察觉的提示。“聪明的汉斯”已成为对表现出理解力但实际上只是对训练员给出的别人难以发现的提示做出反应的个体或程序的隐喻。深度学习展现的是真正的理解，还是一个计算型的“聪明的汉斯”——只是对数据中的表面线索进行响应？这是目前人工智能界在激烈争论的一个话题，而研究人员并未在真正的理解的定义上达成共识，更是加剧了这一争论。 ## PDF_PHYSICAL_PAGE_INDEX=195 | PRINTED_PAGE=NOT_DETECTED 一方面，通过监督学习训练的DNN，在计算机视觉、语音识别、文本翻译等领域的许多任务上都表现得非常出色，尽管还远不够完美。由于DNN具有令人赞叹的能力，人们正在加速其从研究过程向实际应用的转化，具体包括：网络搜索、自动驾驶汽车、人脸识别、虚拟助手、推荐系统等领域。我们现在已经很难想象没有这些人工智能工具的生活会是什么样子。 另一方面，DNN能够自学或其训练过程与人类学习相似这种说法是有误导性的。我们既要承认这些网络获得过的成功，也要认识到它们会以意想不到的方式失败，比如，对训练数据过拟合、长尾效应的存在，以及易受攻击等。 此外，DNN做出决策的原因通常很难理解，这使得它们的失败难以被预测或规避。研究人员正在努力使DNN变得更加可靠和透明，但有些问题仍然存在：这些系统是否由于缺乏类似于人类的理解能力才导致其不可避免地变得脆弱、不可靠且易受攻击？在决定将人工智能系统应用到现实中之前，我们该如何考虑这些因素？下一章将探讨在平衡人工智能的益处与其本身存在的不可靠性和滥用风险之间，我们将面临的一些艰巨挑战。 ## PDF_PHYSICAL_PAGE_INDEX=196 | PRINTED_PAGE=NOT_DETECTED 本章要点 06 难以避免的长尾效应 知名的深度学习专家本吉奥说：“实事求是地讲，我们不可能对世界上的所有事物都进行标注，并一丝不苟地把每一个细节都解释给计算机听。”这一情况由于长尾效应的存在而进一步恶化：人工智能系统可能要面临各种可能的意外情况，自动驾驶汽车在一天的行驶期间可能会遇到的各种假设情况的可能性可以很好地说明这一现象。遇到红色交通信号灯或停车标志等都是常见的情况，被评定为具有高可能性；中等可能性的情况包括遇到碎玻璃或者风吹过来的塑料袋；不太常见的情况是自动驾驶汽车遇到了被水淹没的道路或被雪遮挡住的车道标志，等等。 “长尾”这个术语来自统计学，其中包含的一长串可能性低，但却可能发生的情况被称为一个概率分布的“尾巴”，尾巴上的情况有时被称为“边缘情况”。人工智能在现实世界的大多数领域中都会面对这种长尾效应：现实世界中的大部分事件通常是可预测的，但仍有一长串低概率的意外事件发生。如果我们单纯依靠监督学习来提升人工智能系统对世界的认识，那么就会存在一个问题：尾部的情况并不经常出现在训练数据中，所以当遇到这些意外情况时，系统就会更容易出错。 ## PDF_PHYSICAL_PAGE_INDEX=197 | PRINTED_PAGE=NOT_DETECTED 确保价值观一致，构建值得信赖、有道德的人工智能 想象你自己正坐在一辆自动驾驶汽车里，夜色已深，办公室里圣诞派对刚刚结束，外面正下着雪。“车，送我回家。”你疲惫并带着一丝醉意地说。随着汽车慢慢启动，你的身体向后靠，心怀感激地闭上了眼睛。 这一切都很美妙，但你觉得它安全吗？自动驾驶汽车的成功在很大程度上要归功于机器学习，特别是深度学习，尤其是汽车的计算机视觉和决策部分。我们如何判定这些汽车已经成功地学会了其所需掌握的所有知识？ 自动驾驶汽车还需要多长时间才能在我们的日常生活中发挥重要作用？对于自动驾驶汽车行业来说，这是一个重要却很难回答的问题。我发现专家们在这一问题上持有相互冲突的意见，他们预计的时间从几年到几十年不等。自动驾驶汽车具有能够极大改善我们生活的潜力，它们可以大大减少交通事故造成的伤亡，要知道，这个数字每年可以达到数百万，这些事故中有许多是由司机酒后驾驶或注意力不集中引起的。此外，自动驾驶汽车能够使人类乘客在乘车时间里更具生产力而不会虚度光阴。这些车辆相较于由人类驾驶的车辆也具有更高的能源利用率，而且将成为无法驾驶的盲人或其他残疾人的福音；但是，只有当我们人类愿意赌上自己的生命来相信这些自动驾驶汽车时，这一切才会实现。 ## PDF_PHYSICAL_PAGE_INDEX=198 | PRINTED_PAGE=NOT_DETECTED 机器学习正被应用在影响人类生活的多个领域的决策中，比如创建新闻源、诊断疾病、评估贷款申请，甚至给出监狱刑罚建议（但愿不要发生这样的事），当机器在做这些事时，我们如何保证它已经掌握了足够的知识，因而可以作为一个可信赖的决策制定者？ 这些都是很棘手的问题，不只对于人工智能研究人员，对于整个社会也是。我们最终必须在人工智能今后的许多积极用途与对其可信度和可能被滥用的担忧之间做好权衡。 有益的人工智能，不断改善人类的生活 在考虑人工智能在我们社会中的作用时，我们很容易把注意力集中在不利的一面，但是，要知道，人工智能系统已经为社会带来了巨大好处，并且它们有潜力发挥更大的作用。当下的人工智能技术对你可能一直在使用的许多服务都起到了核心作用，有些甚至你都没有意识到，如语音转录、GPS导航和出行规划、垃圾邮件过滤、语言翻译、信用卡欺诈警报、书籍和音乐推荐、计算机病毒防护以及建筑物能源利用优化等。 如果你是摄影师、电影制作人、艺术家或音乐家，你可能正在使用人工智能系统来协助开展创作，例如用以帮助摄影师编辑照片、协助作曲家编曲的计算机程序。如果你是学生，你可能会从适合你自己学习风格的“智能教学系统”中受益。如果你是科学家，你很有可能已经使用了许多可用的人工智能工具中的一种来帮助你分析数据。如果你是视力存在障碍的人，你可能会使用智能手机的计算机视觉应用程序来阅读手写的或印刷的文字，例如标牌、餐馆菜单或钞票上的文字。如果你是听力受损人士，如今你可以在YouTube上看到非常精准的字幕，在某些情况下，你甚至可以在一次演讲中获得实时的语音转录。这些只是当前人工智能工具正在改善人们生活的几个例子，许多其他的人工智能技术仍处于研究阶段，但也正渐渐成为主流。 ## PDF_PHYSICAL_PAGE_INDEX=199 | PRINTED_PAGE=NOT_DETECTED 在不久的将来，人工智能相关应用可能会在医疗保健领域得到广泛普及。我们将看到人工智能系统帮助医生诊断疾病并提出治疗建议、研发新的药物、监控家中老年人的健康和安全。科学建模和数据分析也将越来越依赖人工智能工具，例如，改善气候变化、人口增长和人口结构、生态和食品科学以及在22世纪我们的社会即将面临的其他重大问题的模型。对于DeepMind的联合创始人戴米斯·哈萨比斯来说，人工智能最重要的潜在好处是： 我们可能不得不清醒地认识到，由于这些问题可能太过复杂，即便由地球上最聪明的人来努力解决这些问题，单独的人类个体和科学家在有生之年都很难有足够的时间来取得足够的创新和进步……我的信念是，我们需要一些帮助，而我认为人工智能就是这一问题的解决方案 1 。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=200&limit=10)