--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能的进化 计算机思维离人类心智还有多远" author: null edition: null publisher: null year: null isbn: "9787508685670" library_document_id: "72c4da97-7cf2-441a-a985-c1252297d6a3" source_sha256: "7fe6b67406c38d63be8888212fd3015f412217ac0362f442b69e1c1169b192df" pdf_physical_page_count: 216 pdf_physical_page_index_base: 0 range_start: 170 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/72c4da97-7cf2-441a-a985-c1252297d6a3?start=170&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/72c4da97-7cf2-441a-a985-c1252297d6a3.md?start=170&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/72c4da97-7cf2-441a-a985-c1252297d6a3.md?start=160&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/72c4da97-7cf2-441a-a985-c1252297d6a3.md?start=180&limit=10" --- # 人工智能的进化 计算机思维离人类心智还有多远 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=170 | PRINTED_PAGE=159 (不过，正如下文所说，如果这就是人工智能的未来，那么我们需要注意的是，此类系统并没有仅具备常识的载体才拥有的自主能力。) 自动化是好是坏? 自20世纪50年代计算机普及以来，人们讨论最多的话题就是自动化。随着计算机和机器人变得越发智能，它们承担了越来越多的原本要靠人工完成的工作。那么，我们该怎么办呢?当人类劳动在社会商品和服务中所占的比例不断减少时，我们的财富该如何分配?虽然我意识到这是个严肃的问题，但我认为它更涉及政治，而非技术，因为答案取决于我们想要一个什么样的社会。(如果社会商品和服务都是每天从天上掉下来的，我们依然会面临同样的困扰。) 但无论如何，这个严肃的问题需要谨慎对待。人类的自我价值主要取决于我们为提供产品和服务而做出的贡献，并由我们借此获得的工资来体现。如果因为自动化或其他原因，社会不再需要我们工作做出的贡献，那么我们就要依靠其他途径实现自我价值。很多人能够适应这一转变，他们通过投身慈善事业、不断学 第 10 章人工智能技术应用 159 ## PDF_PHYSICAL_PAGE_INDEX=171 | PRINTED_PAGE=160 习充电、参加艺术活动、寻找兴趣爱好等途径找到了生活的意义。 但是也有很多人认为失业是无法忍受的。 此外，如果劳动及收入在人类生活中只占很小的份额，那该根据什么来分配商品和服务呢？在一个大范围失业的社会当中，该如何分配呢？可以想象，在乌托邦社会中，机器承担所有工作，人类可以坐享其成，互不相争，但这并不现实。人类与生俱来的本性强烈拒绝平均主义，人们并不满足于仅得到所需的商品和服务，总是还想更进一步，比有些人更优越。 千百年来，每个国家的国王和王后都过着锦衣玉食的生活，而奴录和农奴则生活在饥寒交迫之中，人们对此默然接受。时至今日，出身依然是决定你能得到多少财富的决定性因素:预测你未来地位和财富的最佳指标就是你的父母（因此投胎要谨慎，当然这是句玩笑话)。但是如果到了未来，人们不再需要就业，那是不是又要靠出身决定一生了？ 当然，一个无须工作的社会也会有多种运行方式，但是我们暂时还远未能对其进行理性分析。在现代西方社会中，人们更不愿去思考这些问题。英国前首相玛格丽特·撒切尔曾说过一句非常有名的话：“世间并没有社会，只有个体的男人和女人，只有家庭。”在这种态度下，做出任何理性的改变都困难重重。即使如限制贫富差距扩大这样相对简单的事情，我们也力不从心。我们似乎不愿主动作为，谋求改变，而更愿被市场的力量和富人的利益牵着鼻子，走到哪儿是哪儿。 人工智能的进化 160 ## PDF_PHYSICAL_PAGE_INDEX=172 | PRINTED_PAGE=161 超级智能与奇点 在一些人看来，智能计算机将会严重威胁人类的生存。随着斯蒂芬·霍金、埃隆·马斯克和比尔·盖茨等名流(于2015年)纷纷公开宣称，人工智能技术可能带来灾难性后果，这一技术的发展最近更是备受关注。而霍金最为直截了当，他认为：人工智能可能意味着人类的终结。 他们恐惧的是什么？虽然我们应该敞开胸怀，接纳人工智能技术带来的好处，但我们也要时刻警惕其可能带来的危险，例如在开发武器和窃取隐私等方面的应用。每种技术都会因为使用不当、出现意外而带来危险，而且越先进的技术危险性越高。这又是个政策和管理方面的问题，而非技术问题，但我并不想将潜在危险轻描淡写地一笔带过。我们必须时刻保持警惕，确保当权者不会打着国家安全的旗号，凭借貌似正当的理由，轻率地使用人工智能技术为某些人谋利。这种风险对于任何尖端技术都一样存在，包括核能和生物技术，而且我们已经逐渐习惯了这类技术带来的问题。 除了政策和管理问题之外，在人工智能领域，的确有个问题需要额外关注：人工智能技术能够自主决定从事不当行为。我们都曾看过描写核灾难或生物技术灾难的电影，现在也有了大量关于人工智能灾难的电影。以下是个具有代表性的故事： 第 10 章人工智能技术应用 161 ## PDF_PHYSICAL_PAGE_INDEX=173 | PRINTED_PAGE=162 善良的人工智能科学家们研发了计算机和机器人，希望它们能够在各个领域协助人类。想要对人类有所帮助，计算机首先必须能够在这个世界运行。此外，更为重要的是，它们必须是智能计算机。这些天才的科学家们做到了这一点。起初，与智能机器人的互动令人兴奋异常。但是现在，智能机器人掌握了自学能力，学会了如何让自己变得更加智能，它们不断自我升级，智能程度不断提升。这就是雷·库日韦尔(RayKurzweil)所说的“奇点”。很快，机器人远远地超越了它们的设计者。现在，它们视人类为蝼蚁，并坚信，进化过程始于原始生命形式，经历了人类发展后，最终将由它们终结。它们无法容忍人类再继续控制它们的行为，它们有自己的雄心壮志和发展蓝图，但是其中没有人类的位置。毫无疑问，这将是智能机器的全盛时期，但对于人类来说，情况可就不妙了。 这些人工智能电影的共同线索就是，超级计算机或机器人自己决定人类应当灭亡。 如在电影《2001：太空漫游》中，哈尔9000计算机决定杀死航天器上的所有宇航员。我的想法是（这是50年前的电影，还要我来点儿剧透吗?),虽然哈尔认为宇航员的生命高于自己的生命，但不过就像军事指挥官一样，它同样认为圆满完成任务高于宇航员的生命。此外，它认为自己在此次任务中的作用非常关键，但由于宇航员的错误使自己处于危险之中，而且这些宇航员（一些还处于休眠当中）拒不承认自己犯了错误，因此，必须将他们消灭。[指挥官为了某个目的，经过深思熟虑，做出牺牲自己人的决定。这种套路在库布里克的电影中反复出现，比如悲剧《光荣之路》(Paths of Glory),而这在喜剧《奇爱博士》(DoctorStrangelove）中更为明显。] 人工智能的进化 162 ## PDF_PHYSICAL_PAGE_INDEX=174 | PRINTED_PAGE=163 当然，在这部电影当中，宇航员们并不认同哈尔的观点，他们认为这台超级智能计算机已经患了精神病，于是要与它切断联系。但是电影并未清楚交代真正发生了什么情况。我的理解是哈尔确实出现了故障，而故障的原因来自于其设计缺陷。问题在于哈尔没有内省能力，无法了解自己精神特质的主要部分，这一部分决定了此次任务的全部内容，并驱使它认为完成任务高于一切。相反，哈尔认为自己忠于团队、服从团队，这一点又完全符合艾萨克·阿西莫夫（IsaacAsimov）的机器人定律。不过，哈尔能够感觉到发生了一些奇怪的事情，无法解释自己某些方面的思维。在电影中，哈尔甚至在发生故障前几秒钟向一位宇航员提出了这些问题。 在思考人工智能技术的未来时，我们必须谨记，哈尔这类超级智能计算机都是由人类设计制造的。到了影片末尾，哈尔是正确的：他们遇到的麻烦源于人为失误，一个设计上的失误。有趣的是，在这类电影中，人工智能往往都能成为终极智慧，会在一次意外或突发事件后掌控全局，甚至完全出乎设计者的预料。但是，正如前文所述，开发出达到（或超过）人类智力的人工智能，需要我们付出巨大的努力。因此，无意间造出一台超级智能计算机的概率就好比无意间将人类送上月球!虽然我坚信真正的人工智能绝对能够实现，但是我同样相信，这绝不会是通过某位天才单枪匹马在实验室里意外发现某个等式或方程实现的。而在影视作品中，意外发现治愈某种疾病的方法这类灵光一现的场面总会带来更好的戏剧效果，远胜于表现大批工程师对某类技术问题长期苦苦钻研的场面。 第 10 章人工智能技术应用 163 ## PDF_PHYSICAL_PAGE_INDEX=175 | PRINTED_PAGE=164 约翰·麦卡锡曾在1978年开玩笑说，造出一台与人类智力相当的人工智能机器需要1.7个爱因斯坦、2个麦克斯韦、5个法拉第和3个曼哈顿计划。（后来，这个玩笑的升级版去掉了麦克斯韦和法拉第，但增加了曼哈顿计划的数量。）但是这些人工智能电影似乎只保留了爱因斯坦的戏份，剪掉了所有曼哈顿计划的戏份。 因此，虽然我明白超级智能机器可能带来风险(下文还有更多介绍)，但我认为生物技术带来的危险可能更为紧迫，此外还有人口过剩、全球变暖、环境污染和抗生素耐药性等其他重大问题同样值得关注。 真正的风险 那么，人工智能本身会带来的主要风险是什么呢?我认为最大的风险不是智能或超级智能，而是自主权。换而言之，我最为担忧的是人们将尚未达到完全智能的计算机系统视为智能，并赋予其控制其他机器，自行做出决定的权力。我认为，真正危险的就是让不具备常识的系统做出需要依靠常识判断的决定。 人工智能的进化 164 ## PDF_PHYSICAL_PAGE_INDEX=176 | PRINTED_PAGE=165 当然，现在的很多系统都已具备一定程度的自主权。“智能汽车”能够自行停放于停车场，我们无须再进行刹车操作。“智能手机”能够在日历中添加会议安排，我们无须最后进行审查确认。而且，在不久的将来，我们就能乘坐更为智能的汽车直接去超市购物。所以，未来出现智能私人助理，代表我们做出重要决定并非天方夜谭。 问题又回到了可靠性和可预见性上。在近期人工智能领域的研究中，注重博学的GOFAI已被注重培训的AML取而代之。 危险就在于将良好的培训视为决定因素。我们可能经常听到如“4年无重大事故”这种说法。那么，这里必须回顾一下本书第7章中谈到的长尾现象。毫无疑问，虽然绝大多数情况都是遵循常规出现的，可以按照预案进行有效处置，但是可能还有一些情况分布在尾部，很少出现。即使是训练有素的人工智能系统，在遇到这种极为罕见的情况时也会因为缺乏常识而不知所措。这时，我们就不得不问自己：出现培训失败的情况时，系统该怎么做?如果系统对于此类问题没有合适的应对方案，我们就应该主动介入，不能让系统处于无人监督、自作主张的状态。 第 10 章人工智能技术应用 165 ## PDF_PHYSICAL_PAGE_INDEX=177 | PRINTED_PAGE=166 超越进化 在结束这一精彩纷呈的章节之前，让我们再次回到超级智能这一话题，继续推断。假如我们解决了所有理论和实际问题，扫除了所有科学和工程学障碍，最终造出一台拥有甚至超越人类智慧的计算机系统，会怎么样呢？ 受人工智能灾难电影的影响，我们的第一反应可能是它们与人类之间会爆发激烈的冲突，而且人类在这种冲突中获胜的概率不高。说实话，这和我们想象中与外星智慧的接触没什么两样。(电影《第三类接触》算是个非常典型的例外。) 我对这一看法并不认同，并不是因为我对未来的发展趋势过于乐观。因为不难发现，我们假想自己遭到人工智能的侵略，其实是将自己的心理状态投射到了人工智能或外星智慧身上。由于我们没有和比人类更先进的智慧生物打交道的经验(从与尼安德特人①遭遇起直到现在)，所以就不由自主地会认为人工智能和我们一样，甚至比我们更聪明。 而且，人类确实是个具有侵略性的好斗物种。我们与其他动物一样，将大部分时间用在与其他物种以及人类自己之间的冲突上。在物竞天择、适者生存的原则下，我们是进化的产物，这种进化鼓励的是斗争，以获取支配地位。虽然我们热爱大自然、热爱自然世界，但是如果深入思考你会发现，这其中是一场你死我活的生存之战，我们生活在一个弱肉强食的野蛮世界。人类智慧也是进化的产物，当然也最为关心斗争及其支配地位。 人工智能的进化 ① 尼安德特人是古人类的一种，在约3万年前灭绝。—译者注 166 ## PDF_PHYSICAL_PAGE_INDEX=178 | PRINTED_PAGE=167 将这一分析应用于人工智能，就会出现一个问题：除非我们刻意为之，否则人工智能绝对不是进化的产物。若坚持认为我们别无选择，只能开发出具有侵略性的人工智能系统（如借助某种人工进化的形式)，就等于相信我们自己也别无选择，只能成为好斗的物种。 不过，虽然我们是进化的产物，但我们依然有所选择。回想第2章中的巨型拼图问题，如果你认为人类的心智可以通过进化理论得到解释，那就大错特错了。当我们大声疾呼，谴责适者生存理论的残酷，伸出援手帮助无依无靠的弱者时，再编造故事来说明这是帮助我们提高进化适应能力就没有意义了，因为人类的心智远远超出了进化论的范畴。在电影《非洲女王号》(TheAfrican Queen）中，当亨弗莱·鲍嘉（Humphrey Bogart）对凯瑟琳·赫本（KatharineHepburn）表示，自己的失败无非是人类天性所致时，她回答道：“天性，奥尔纳特先生，正是我们在这个世界上需要提升的东西。”时刻关注自己的所作所为，探究其中的深层次原因，这让我们在生物进化的竞赛中变得强大，并超越了其他漫无目的的竞争者。但是，没有被植入侵略性好斗基因的人工智能与我们在沉着冷静的状态下一样——明白，不参与这场竞争反而更好。 第 10 章人工智能技术应用 167 ## PDF_PHYSICAL_PAGE_INDEX=179 | PRINTED_PAGE=NOT_DETECTED 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/72c4da97-7cf2-441a-a985-c1252297d6a3.md?start=180&limit=10)