AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...

我发现关于计算机何时能实现超级智能的问题是令人苦恼的，至少看起来是这样。这里所说的超级智能是一种在几乎所有领域，包括科学创造、通用智能和社交技能等领域，都要比最强的人类大脑还要聪明许多的智能 ¹⁸ 。

许多人断言：如果计算机达到通用的、人类的水平，这些机器将很快变成超级智能的，整个过程类似于古德对“智能爆炸”的预言（参考第03章中的相关描述）。这种观点认为：一台具有通用智能的计算机将能够以闪电般的速度阅读人类的所有文件，并学习目前可知的所有知识。同样，它将能够发现，通过自己不断增长的推理能力，所有的新知识都可被它转化为自身新的认知能力。一台这样的机器不会受到人类那些令人懊恼的弱点的限制，如人类思维和学习的迟缓性、非理性、认知偏见、对无聊事务的低忍耐性、对睡眠的需求以及各种情绪，所有这些都妨碍了创造性思维的产生。按照这种观点，一台超级智能机器将具有一些接近“纯粹智能”的东西，不受任何人类弱点的限制。

在我看来更有可能的是：这些所谓的人类局限性，正是构成我们人类的通用智能的一部分。在现实世界中劳作的躯体、我们进化出的能够让人类作为一个社会组织来运行的情绪和非理性偏见，还有所有其他偶尔被认为是认知缺陷的品质给我们带来的束缚，实际上正是让我们成为一般意义上的聪明人而不是狭隘的博学之士的关键。我无法证明这一点，但我认为通用智能很有可能无法剥离所有这些人类的或机器的明显缺陷。

侯世达在其“GEB”一书的“10个问题和推测”部分，使用了一个看似简单的问题来回应这个问题：“一台会思考的计算机能够快速计算加法吗？”他给出的答案是：“也许不会。我们自身是由可进行复杂计算的硬件组成，但这并不意味着在我们的‘符号级别’（symbol level） ⁽⁴⁹⁾ ，即‘我们’本身知道如何执行同样复杂的计算。幸运的是，你的符号级别（即‘你’）无法访问你现在正在执行思考任务的神经元，否则你会变得头脑糊涂，为什么对一个智能程序不应是同样的呢？”侯世达接着解释说：“像我们人类一样，一个智能程序会将数字表示成一个完备的、充满关联的概念，有了所有这些需要随身携带的额外的‘负担’，一个智能程序在执行加法时就会变得相当迟钝。” ¹⁹ 当我第一次读到这个答案时，我感到很惊讶，但现在我觉得它很正确。

问题5：我们应该对人工智能感到多恐惧？

如果你对人工智能的看法来自电影和科幻小说，甚至一些流行的非科幻小说作品，那么，你可能会害怕人工智能变得有意识、恶毒，甚至试图奴役或杀死我们所有人。考虑到我们距离任何通用智能都还很遥远，所以，目前这些问题并不是人工智能领域的大多数人所担心的。正如我在本书中描述的那样，当下社会对人工智能技术的不假思索地接受，存在以下风险：造成大量人失业的可能性、人工智能系统被滥用的潜在风险，以及这些系统在面对攻击时的不可靠性和脆弱性。这些仅仅是人们对技术可能对人类生活产生影响的一些非常合理的担忧。

我以侯世达对人工智能之最新进展感到惊慌的一段见闻作为本书的开始，但在很大程度上，令他感到恐惧的是完全不同的事情。侯世达担心的是：人类的认知能力和创造力变得如此轻易就能被人工智能程序习得，从而使得他最为珍视的基于人类思想的崇高创作，如肖邦的音乐，可被像是EMI那样的人工智能程序使用的那套肤浅的算法替代。侯世达感叹道：“如果这种无限微妙、复杂且情感深厚的思想会被一块小小的芯片所简化，这会摧毁我对人性的理解。”侯世达同样对库兹韦尔关于即将到来的奇点的预测而感到困扰，他担心如果库兹韦尔的这种预测从任何一方面来说是正确的，那么我们将被取代，我们将成为遗迹，我们将被尘埃淹没。

我对侯世达的这些担忧有同感，但我认为它们的到来还为时过早。最重要的是，本书所要传达的观点是：我们人类倾向于高估人工智能的发展速度，而低估人类自身智能的复杂性。目前的人工智能与通用智能还相距甚远，并且我不认为超级智能已经近在眼前了。如果通用人工智能真的会实现，我敢保证，它的复杂性能够与我们人类的大脑相媲美。

在任意一个关于人工智能领域近期需要担忧的事项的列表中，超级智能都理应稳稳地待在列表的最下面。实际上，超级智能的反面才应该是我们真正需要担心的问题。在本书中，我阐述了即便是最完善的人工智能系统也很脆弱，例如，当系统输入与其训练样本相差太大时，它们就会出错。通常我们很难预测人工智能系统在什么情况下会变脆弱。语音转录、语言翻译、图像描述、自动驾驶等，这些对稳健性要求很高的场景，仍然需要人类的参与。我认为，短期内人工智能系统最令人担忧的问题是：我们在没有充分意识到人工智能的局限性和脆弱性时就给它赋予了太多的自主权。我们倾向于拟人化人工智能系统，我们把人类的品质灌输给这些系统，却又高估了这些系统可以被完全信任的程度。

经济学家塞德希尔·穆来纳森（Sendhil Mullainathan）⁽⁵⁰⁾ 在撰写关于人工智能之危险的文章时，在他提出的“尾部风险”（tail risk）的概念中引用了我在第06章中描述过的长尾效应：

我们应该感到害怕，不是害怕机器太智能，而是害怕机器做出一些它们没有能力做出的决策。相比于机器的“智能”，我更害怕机器的“愚笨”。机器的愚笨会创造一个尾部风险。机器可以做出很多好的决策，然后某天却会因为在其训练数据中没有出现过的一个尾部事件而迅速失灵，这就是特定智能和通用智能的区别 ²⁰ 。

或者正如人工智能研究人员佩德罗·多明戈斯所说的那段令人印象深刻的话：“人们担心计算机会变得过于聪明并接管世界，但真正的问题是计算机太愚蠢了，并且它们已经接管了世界。” ²¹

我担心人工智能缺乏可靠性，我也担心它将如何被使用。除了我在第07章中探讨的道德方面的忧虑之外，还有一个令我感到害怕的应用是：使用人工智能系统生成伪造的媒体内容，比如，使用文字、声音、图像和视频等来描绘可怕的、实际上从未真正发生过的事件。

因此，我们应该对人工智能感到害怕吗？或许应该，又或许不应该。具有意识的超级智能机器不会在近期出现，我们最为珍视的人性不应被拿来与一套算法相提并论，至少我认为不应该如此。然而，在对算法和数据的不道德使用及其危险的潜在用途方面，仍然存在很多令人担心的问题。这很可怕，但让人欣慰的是，这一问题近期在人工智能研究领域以及一些其他领域中受到了广泛关注。研究人员、企业界代表和政界人士在解决这些问题的紧迫性上正逐渐形成一种合作意向和共同目标。

问题6：人工智能中有哪些激动人心的问题还尚未解决？

我的答案是：几乎所有问题。

当我开始从事人工智能领域的研究时，我发现这个领域令人兴奋的一部分原因是：该领域几乎所有的重要问题都是开放的，并且总在等待新想法的涌入。我认为现在仍然是这样。

我们可以回到这个领域的开端，约翰·麦卡锡等人在1956年的建议书（在第01章中描述过）中列出了人工智能领域中的许多重大研究课题：自然语言处理、神经网络、机器学习、抽象概念和推理以及创造力。如今，这些问题依然是人工智能领域最核心的研究课题。2015年，微软的研究院主任埃里克·霍维茨打趣道：“甚至可能有人会说，这份1955年的提案，如果经过适当的重新整理，可以再提交给美国国家科学基金会一次，说不定还能获得某个激情满满的项目管理者的资助。” ²²

这绝对不是在批评过去的人工智能研究，人工智能研究与其他任何人性相关领域的巨大科学挑战一样困难。麻省理工学院的罗德尼·布鲁克斯比其他人都更加清楚地说明了这一点：“在人工智能研究的起步阶段，人们的研究明确地受到人类的表现和人类水平的智能的启发。我认为这一目标在过去的六十多年里吸引了大批研究人员进入该领域。然而，我们没能得出任何接近成功地实现这一愿景的成果，但这并不意味着研究人员工作不努力或不优秀，只能说明这是个非常困难的目标。23

人工智能中最激动人心的问题不仅仅是在其潜在应用上。该领域的创建者的动机不仅来自与智能的本质有关的科学问题的激励，还来自对开发新技术的渴望。确实，认为智能是一种自然现象，一种与其他许多现象一样，可以通过构建简化的计算机模型来加以研究的这种想法，是吸引许多人进入该领域的动机，包括我自己。

人工智能对我们所有人的影响都将持续深化。我希望这本书能帮助你，成为一个有思想的人，更好地去了解这项新兴技术的当前发展现状，包括其尚未解决的问题、技术的潜在风险和益处，以及它所引出的关于理解人类自身智能的科学和哲学问题。如果正在阅读这段文字的你是一台计算机，请告诉我上一句中的“它”指代的是什么，也欢迎你加入我们的讨论。

首先，这本书的出版应归功于侯世达。侯世达的著作是最初吸引我进入人工智能领域的原因，他的想法和启蒙又指导了我在博士阶段的学习。前不久，侯世达邀请我参加了在谷歌召开的会议，这激发了我写这本书的想法，后来这种想法愈加强烈。侯世达阅读了本书手稿的每一个章节，并在每一页写满了具有深刻见解的评论，这极大地改善了手稿的最终版本。我非常感谢侯世达的想法、他的著作和文章、他对我工作的支持，当然，最重要的是我们之间的友谊。

非常感谢其他几位慷慨地阅读了本书，并对每一个章节发表了富有见地的评论的家人和朋友，他们是：吉姆·利文尼克（Jim Levenick）、吉姆·马歇尔（Jim Marshall）、拉斯·麦 克 布 莱 德 （ Russ McBride ） 、 杰 克 · 米 歇 尔 （ JackMitchell）、诺玛·米歇尔（Norma Mitchell）、肯德尔·施普 林 格 （ Kendall Springer ） 和 克 里 斯 · 伍 德 （ ChrisWood）。非常感谢以下回答问题、翻译片段并为我提供其他形式的帮助的各位：杰夫·克卢恩（Jeff Clune）、理查德·丹齐克（Richard Danzig）、鲍勃·法兰克（Bob French）、加勒 特 · 凯 尼 恩 （ Garrett Kenyon ） 、 杰 夫 · 科 法 特 （ JeffKephart）、布莱克·勒巴伦（Blake LeBaron）、盛·伦德奎斯特（Sheng Lundquist）、达娜·摩泽尔（Dana Moser）、大卫·莫泽（David Moser）和弗朗西丝卡·帕尔梅贾尼（Francesca Parmeggiani）。

致谢

非常感激法劳·斯特劳斯·吉罗出版社（Farrar, Strausand Giroux, FSG）的埃里克·钦斯基（Eric Chinski），感谢他的鼓励以及他对这一项目各个方面的卓越贡献；感谢莱尔德·加拉格尔（Laird Gallagher）提出的许多深思熟虑的建议，这些建议帮助这份粗略的草稿变成了最终的书稿；感谢FSG出版社的其他成员，特别是朱莉亚·林戈（Julia Ringo）、英格丽德 · 斯 特 纳 （ Ingrid Sterner ） 、 丽 贝 卡 · 凯 恩 （ RebeccaCaine）、理查德·奥廖洛（Richard Oriolo）、黛博拉·海姆（Deborah Ghim）和布莱恩·吉蒂斯（Brian Gittis），感谢他们所做的一切。非常感谢我的经纪人埃斯特·纽伯格（Esther Newberg），她帮助我把出版这本书变成了现实。

我还要感谢我的丈夫施普林格，感谢他一直以来对我的爱和热情的支持，以及他对我疯狂的工作习惯的耐心和容忍。还有我的儿子们，雅各布和尼古拉斯，这些年来，他们卓越的问题、好奇心和常识给了我极大的启发。

最后，我要把这本书献给我的父母——杰克和诺玛，在我的一生中，他们给了我无限的鼓励和关爱。在这个充满机器的世界里，我很幸运能被这些充满智慧和爱心的人包围。

引言 创造具有人类智能的机器_，是一场重大的智力冒险

1 A. Cuthbertson,“DeepMind AlphaGo: AI Teaches Itself ‘Thousands of Years of Human Knowledge’ Without Help”, Newsweek , Oct. 18, 2017.

2 接下来所引用的侯世达的话来自在一次谷歌会议后我对他的后续访问，这些引文准确地还原了他对谷歌小组评价的内容和语气。

3 Jack Schwartz, quoted in G. -C. Rota, Indiscrete Thoughts (Boston: Berkhäuser, 1997), 22.

4 D. R. Hofstadter, Gödel, Escher, Bach: an Eternal Golden Braid (New York: Basic Books, 1979), 678.

5 同上, 676。

6 D. R. Hofstadter,“Staring Emmy Straight in the Eye—and Doing My Best Not to Flinch”, in

注释