---
schema_version: "library-reader-v1"
source_type: "original_book"
title: "AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的..."
author: null
edition: null
publisher: null
year: null
isbn: null
library_document_id: "75afffda-b96b-4df5-89ff-2ec037cfed66"
source_sha256: "21c9bed4763f96ba9dce4c4e24be07b2ddb63e08acce9107a510c1026714c784"
pdf_physical_page_count: 491
pdf_physical_page_index_base: 0
range_start: 180
range_count: 10
html_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66?start=180&limit=10"
markdown_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=180&limit=10"
previous_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=170&limit=10"
next_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=190&limit=10"
---
# AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...
> 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。
## PDF_PHYSICAL_PAGE_INDEX=180 | PRINTED_PAGE=NOT_DETECTED
一种常见的解决方案是：让人工智能系统在少量标注数据上进行监督学习，并通过“无监督学习”（unsupervisedlearning）来学习其他所有的内容。无监督学习是指在没有标记数据的情况下学习样本所属类别的一系列方法。常见的例子包括：基于相似度来对样本进行分类的方法，或者通过与已知类别进行对比来学习新类别的方法。正如我将在后面章节中介绍的那样，对抽象事物的感知以及类比是人类擅长的，但到目前为止，还没有特别成功的人工智能算法来实现这种无监督学习。杨立昆承认：“无监督学习是人工智能的暗物质。”换句话说，对于通用人工智能，几乎所有学习都应该在无监督方式下进行，然而，还没人提出过成功进行无监督学习所需的各种算法。
人类总会犯错，特别是在驾驶时，如果是我们处在前文例子中为躲避沙袋而要转向的场景，我们也有可能会撞上那辆公交车；但是，人类具有一种当前所有的人工智能系统都缺乏的基本能力：运用常识。我们拥有关于这个世界的体量庞大的背景知识，包括物质层面及社会层面。我们对现实世界中的事物会如何行动或变化有充分的了解，无论它是无生命的还是有生命的，我们广泛地运用这些常识来决定如何在特定情况下采取行动。 即使从未在暴风雪天开过车，我们也能推断出道路铺设盐线的原因。我们知道如何与其他人进行社交互动，因此能够使用眼神、手势和其他肢体语言交流来应对电源故障期间交通信号灯无法使用的情况。我们也知道，应该尽量避让大型公共汽车，即便从严格意义上来说我们拥有路权。这里我举的只是汽车驾驶方面的一些例子，其实人类通常在生活的方方面面都会本能地运用常识。许多人认为，除非人工智能系统能像人类一样拥有常识，否则它们将无法在复杂的现实世界中实现完全自主。
## PDF_PHYSICAL_PAGE_INDEX=181 | PRINTED_PAGE=NOT_DETECTED
机器“观察”到的东西有时与我们截然不同
几年前，我的研究团队的一名研究生威尔·兰德克尔（Will Landecker），训练了一个可以将图像分为“包含动物”和“不包含动物”两种类别的DNN。网络在类似于图6-3的图像上进行了训练，并且在测试集上表现得非常好，但网络实际上学到了什么呢？通过仔细研究，威尔发现了一个让人意想不到的答案：网络学会的是将具有模糊背景的图像分到“包含动物”这一类别，无论该图像是否真的包含一只动物 14 。这是由于训练集以及测试集中的图像遵循了一项重要的摄影规则：聚焦在目标对象上。当图像的目标对象是一只动物时，动物将成为焦点，而图像的背景是模糊的，如图6-3（A）所示。当图像本身就是一种背景时，如图6-3（B）所示，则图像中没有任何地方是模糊的。令威尔感到很懊恼的是，他的网络并没有学会识别动物，而是使用了与动物图像统计特征相关的更简单的线索，如模糊的背景。
## PDF_PHYSICAL_PAGE_INDEX=182 | PRINTED_PAGE=NOT_DETECTED
这是机器学习常见现象中的一个例子。机器学到的是它在数据中观察到的东西，而非我们人类可能观察到的东西。如果训练数据具有统计性关联，即使这些关联与机器要解决的任务无关，机器也会很乐意学习这些内容，而不是学习那些我们希望它学习的内容。如果机器在具有相同统计性关联的新数据上进行测试，它将表现得像是已经成功地学会了如何完成这一任务；然而，机器在其他数据上运行可能会出乎意料地失败，就像威尔的网络在无模糊背景的动物图像上的表现一样。用机器学习的术语来说，威尔的网络“过拟合”（overfitted）了特定的训练集，因此无法很好地将其学到的知识应用到与训练集特征不同的那些图像上。
近年来，一些研究团队调查了在ImageNet和其他大数据集上训练的ConvNets是否同样会在其训练数据上过拟合。有一个研究团队表示：如果ConvNets是在从网络下载的图像（如ImageNet中的图像）上进行训练的，那么在由机器人用照相机在房屋中移动拍摄出来的图像上，它们就会表现得很差 15 。这似乎是由于家居用品的随机视图看起来与人们在网络上发布的照片非常不同。
## PDF_PHYSICAL_PAGE_INDEX=183 | PRINTED_PAGE=NOT_DETECTED
其他研究团队表明，图像表面的变化，如使图像模糊一点或给图像加上斑点、更改某些颜色或场景中物体的旋转方向等，这些扰动不影响人类对其中对象的识别，却可能导致ConvNets出现严重错误 16 。ConvNets和其他那些在目标识别方面“超越”人类的网络的这种意想不到的脆弱性，表明它们在其训练数据上出现了过拟合，而且学到了一些与我们试图教给它们的不同的东西。
有偏见的人工智能
ConvNets的不可靠性有时会导致尴尬的错误，甚至有害的错误。2015年，谷歌在它的照片应用程序中推出照片自动标注功能（应用了ConvNets），随后遭遇了一场公关噩梦。除了能够正确地使用诸如“飞机”“汽车”和“毕业生”之类的通用描述来标注图像之外，神经网络还用“大猩猩”标注了一张两名非裔美国人的自拍照。在多次道歉后，谷歌的短期解决方案是将“大猩猩”这个标签从网络的所有可能类别列表中删除。
这种令人反感和广受诟病的错误分类，让牵连其中的公司陷入了困境。在由深度学习驱动的视觉系统中，这种由种族或性别歧视导致的错误虽然不易察觉，却经常被观测到。例如，商业人脸识别系统识别男性白人的脸要比识别女性或非白人的脸更加准确 17 。
## PDF_PHYSICAL_PAGE_INDEX=184 | PRINTED_PAGE=NOT_DETECTED
凯特· 克劳福德（Kate Crawford）是微软的一名研究员，同时也是一名致力于实现人工智能公平性和透明性的活动家。她指出：一个被广泛使用的、用于训练人脸识别系统的数据集包含了77.5%的男性和83.5%的白人面孔。这并不奇怪，因为图像是从网络图像搜索引擎中下载的，而网上出现的人脸照片更偏向于那些知名的或有权势的人，他们主要是白人和男性。
当然，人工智能训练数据中的这些偏见反映了我们社会中的偏见，但在这些有偏见的数据集上训练的人工智能系统，如果在真实世界的应用中传播开来，就能够放大这些偏见并造成真正的危害。例如，人脸识别系统越来越多地被作为一种安全可靠的方式用于信用卡交易、机场扫描和安全摄像头中的人员识别，而将人脸识别系统进一步用于投票系统中来验证身份，以及应用于其他领域，可能也只是时间问题了。即便是在种族群体上识别准确率的细微差异，也会对公民权利和获得关键服务的机会产生破坏性影响。
通过让人类来平衡代表种族或性别群体的图像或其他类型的数据，这种偏见可以在个别数据集上得到缓解，但这需要人们对数据的管理付出认知和努力。此外，我们往往很难弄清楚细微的偏见及其影响。例如，一个研究小组注意到，他们的人工智能系统在由不同场景的人类图片组成的大规模数据集上进行训练后，会偶尔错误地将一个站在厨房里的男士归类为“女士”，这是因为在数据集中厨房多是一种包含女性样本的场景18 。一般来说，这种细微的偏见在事后会很明显，但却很难被提前发现。
## PDF_PHYSICAL_PAGE_INDEX=185 | PRINTED_PAGE=NOT_DETECTED
人工智能应用中的偏见问题近年来引起了相当多的关注，许多文章、研讨会，甚至学术研究机构都在专门研究这一问题。用于训练人工智能的数据集是否应该准确地反映我们本来就存有偏见的社会，正如它们现在常做的那样，还是我们应该为实现社会变革目标来对其进行针对性的完善？那么谁应被准许来制定变革的目标？又应该由谁来执行完善的工作呢？
人工智能内心的黑暗秘密以及我们如何愚弄它
还记得在学校的时候，老师会在你的数学作业上用红笔写上“列出你的推导过程”吗？对我本人来说，列出推导过程是学习数学最无趣但却可能是最重要的部分，因为能够展示推导过程则表明：我理解自己在做什么，我掌握了正确的抽象概念并且以正确的推理得到了答案。列出推导过程，也可以帮助老师来查明我犯某些错误的原因。
一般来说，如果一些人能够向你解释他是如何得出一个答案或决定的，你就会相信这些人知道他自己在做什么；然而，列出推导过程是DNN——这一现代人工智能系统的基石所无法轻易做到的事情。回想一下我在第04章描述的“狗”和“猫”目标识别任务。ConvNets通过实施一系列在多隐藏层间传播的数学运算（卷积）来判定输入图像中包含的对象。对于一个一般大小的网络，其运算可能会达到数十亿次，当然，对计算机进行编程，让它打印出一个网络对于给定输入所执行的全部加法和乘法的操作列表是很容易的，但是这样一个列表并不能使人类获知网络是如何得出答案的。一个10亿次运算的列表不是一个普通人能接受的解释，即使是训练深度网络的人通常也无法理解其背后隐藏的原理，并为网络做出的决策提供解释。《麻省理工科技评论》（MIT Technology Review ）杂志将这种不可理解性称为“人工智能内心的黑暗秘密” 19 。令人担忧的是：如果我们不理解DNN如何解答问题，我们就无法真正相信它们，或预测它们会在哪种情况下出错。
## PDF_PHYSICAL_PAGE_INDEX=186 | PRINTED_PAGE=NOT_DETECTED
人类也并不总是能够解释自己的思维过程，并且一般来说，你无法通过观察别人的大脑内部或者他们的直觉来弄清楚他们是如何做出特定决策的，但人类倾向于相信其他人已经正确地掌握了基本的感知能力，例如目标识别和语言理解能力。在一定程度上，当你相信别人的思维与你相同时，你就会信任对方。你的假设是，大多数情况下，你遇到的其他人与你有足够相似的生活经历，于是你会假设他们在对世界感知、描述和做出决策时所使用的基本背景知识、信仰和价值观与你相同。简而言之，当考虑其他人时，你具有心理学家所说的一种心智理论：理解他人在特定情况下所运用的知识和可能会选择的目标。对于像DNN这样的人工智能系统，我们并没有类似的心智理论作为支撑，这就使得我们更难信任它们。
目前人工智能界最热门的新兴领域之一是“可解释的人工智能”，也就不足为奇了。这个新领域有多种不同的叫法，比如“透明的人工智能”或“可解释的机器学习”。这个领域的目标是研究如何让人工智能系统，尤其是深度网络，以人类能够理解的方式解释其决策过程。该领域的研究人员已经提出了多种聪明的方式来实现对一个给定ConvNets学习到的特征的可视化，并且，在某些情况下可以确定输入的哪些部分对输出决策起决定作用。可解释的人工智能是一个正在快速发展的领域，但如何让深度学习系统能够顺利地按照人类能理解的方式来解释自身仍然前景未明。
## PDF_PHYSICAL_PAGE_INDEX=187 | PRINTED_PAGE=NOT_DETECTED
关于人工智能可信度的问题还有另外一个方面：研究人员发现，人类若要秘密地诱导神经网络犯错，那简直是意想不到地容易。也就是说，如果你想故意欺骗这样一个系统，那么方法有很多。
愚弄人工智能系统并不是什么新鲜事，例如，垃圾电子邮件发送者与垃圾邮件检测程序间的“军备竞赛”已经持续了几十年。对深度学习系统的这种看似脆弱的攻击则更加微妙和麻烦。
还记得我在第05章中提到的AlexNet吗？就是那个赢得2012年ImageNet竞赛并使得ConvNets在当今大部分人工智能领域中占据主导地位的ConvNets。如果你还记得的话，AlexNet在ImageNet上的top-5准确率是85%，打败了其他所有竞争对手，并震惊了计算机视觉界。然而，在AlexNet获胜两年后，出现了一篇由谷歌的克里斯蒂安·塞格迪（Christian Szegedy）和其他作者联名撰写的研究论文，这篇论文有一个看似温和的标题：神经网络耐人寻味的特性 20 。塞格迪等人在文中描述的这种耐人寻味的特性之一就是AlexNet很容易被愚弄。
## PDF_PHYSICAL_PAGE_INDEX=188 | PRINTED_PAGE=NOT_DETECTED
该论文的作者发现，他们用一张AlexNet以高置信度正确分类的ImageNet图像（如校车图像），对该图像进行极小的、非常具体的变化使这张图像扭曲。扭曲后的图像对人类来说看起来毫无变化，但却被AlexNet以高置信度归类为完全不同的东西（如鸵鸟）。作者将扭曲后的图像称为“对抗样本”（adversarial example）。图6-4展示了一些原始图像样本及与其“对抗的”孪生样本。无法分辨两者的差异？恭喜！看来你是人类。
注：每对图像中的左图是原始图像，能被AlexNet正确分类；右图是从左图获得的对抗样本，即对左图进行了细微的改变，使新图像对人类而言毫无变化，但却都被AlexNet确信地归类为“鸵鸟”。
塞格迪和他的合作者构建了一个计算机程序，对于任意一幅由AlexNet正确分类的来自ImageNet的图片，都能够找到特定的变化点来创建一个新的对抗样本图片，使得新图片对人类来说看起来没有变化，却会导致AlexNet以极高的置信度给出一个错误答案。
## PDF_PHYSICAL_PAGE_INDEX=189 | PRINTED_PAGE=NOT_DETECTED
重要的是，塞格迪和他的合作者发现，AlexNet对于对抗样本的这种低敏感性并不特殊。他们发现，其他若干具有不同的架构、超参数和训练集的ConvNets都具有类似的漏洞。他们把这种漏洞称为神经网络的耐人寻味的特性，有点类似于把一艘豪华游轮船体上的漏洞称为这艘船的一个引人深思的特点，这确实耐人寻味，也需要更多的调查研究。如果漏洞未得到修补，DNN这艘“船”早晚会沉下去。
在塞格迪等人的论文发表后不久，一个来自怀俄明大学的团队发表了一篇题目更直接的文章：《深度神经网络很容易被欺骗》 21 。该团队使用一种受生物启发的计算方法——遗传算法（genetic algorithms） 22 ，通过计算的方式来使图片得到“进化”，使其对人类而言，看起来像随机“噪声”，但是AlexNet和其他ConvNets却以超过99%的置信度将其分配为某个特定的对象类别（见图6-5）。
下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=190&limit=10)