--- schema_version: "library-reader-v1" source_type: "original_book" title: "智慧的疆界 从图灵机到人工智能" author: null edition: null publisher: null year: null isbn: "9787111778004" library_document_id: "cf76bc49-7e9b-4f42-bee8-3050a9fb9feb" source_sha256: "a6e4d0c30c2781e62277891f79f33c2f62c58ae8db77453807229919f720b432" pdf_physical_page_count: 456 pdf_physical_page_index_base: 0 range_start: 360 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb?start=360&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb.md?start=360&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb.md?start=350&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb.md?start=370&limit=10" --- # 智慧的疆界 从图灵机到人工智能 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=360 | PRINTED_PAGE=345 作为反击，OpenAI 把此前马斯克同意闭源、同意成立商业化子公司的邮件赤裸裸地贴到了官网上○一。不论如何解释，OpenAI 最初肯定是想走开源路线的，它的名字还有《宪章》中的开放条款都相当清晰地传达了开放共享的理念，早期 GPT-1 和 GPT-2 的模型以及代码也都是完全公开的，然而随着技术上取得越来越大的领先优势，OpenAI 既担忧开源可能产生人工智能被滥用的问题，也有成立盈利性组织 OpenAI LP 后希望将技术优势转化成商业优势的考虑，对开源的态度逐渐从开放转向封闭。 至于人工智能到底是开源还是闭源对人类更有利这件事情，不同的人有不同的见解。支持开源的一派认为开源代码可以提高透明度并有助于推动技术的发展，世界各地的相关方可以帮助识别开发团队未能发现的代码中的潜在陷阱，有助于降低代码可能执行有害操作的风险。而反对开源的一派认为，开源的人工智能很容易被不良行为者操纵。麻省理工学院和剑桥大学的科学家曾专门发表论文，通过实验来验证公开技术细节是否会帮助恶意者利用人工智能来造成大规模伤害，结论是开源大模型的确可能存在风险。 目前以 OpenAI 的 GPT 为代表的闭源模型和以 Meta 公司的 Llama 为代表的开源模型正在激烈竞争，这也是在给“人工智能应该开源还是闭源”这个问题做一场大规模的社会实验，最终结果如何我们拭目以待。不过 OpenAI 一边以“ Open”为名，一边却成为闭源模型的代表，这确实丢掉了不少它在成立时积累的粉丝好感。是否闭源在 OpenAI 内部曾经有过长时间的争论，苏茨克维曾在内部邮件中写道：“随着我们越来越接近人工智能，‘开放’开始变得不那么有意义了。OpenAI 的‘开放’只意味着每个人都应该从人工智能的成果中受益，不意味着必须分享其中的技术细节。”苏茨克维是一位理想主义者，他的个人品格即使是与 OpenAI 交恶后的马斯克也认为无可指摘○二，笔者愿意相信他完全是从安全角度出发的，但很难说参与闭源决定的每一位 OpenAI 成员都没有商业利益方面的考虑。 第 8 章 从学习到创造 345 ○一 https://openai.com/index/openai-elon-musk/。 ○二 马斯克曾在推特中公开评价苏茨克维：“苏茨克维内心有良好的道德准绳，不唯权力至上。” ## PDF_PHYSICAL_PAGE_INDEX=361 | PRINTED_PAGE=346 3. 安全 即使将讨论范围限制在“如何安全地发展人工智能技术”这种看起来似乎不应有什么争议的范畴内，分歧也依然存在，而且最终成为导致 OpenAI 创始团队彻底分裂的导火索。 在 OpenAI 内部，对于“安全发展”人工智能的看法分为两派：以奥特曼为代表的“激进派”认为应以人工智能的发展优先，尤其是要保证技术领先优势；而以苏茨克维为代表的“保守派”则认为应以人工智能的安全优先，必须先有严谨的理论和工程技术来确保人工智能对人类来说是安全的，再来谈产品的发展。 当 OpenAI 还是一家怀揣梦想以谷歌为假想敌的初创公司时，外部矛盾占主要地位，这两派的内部矛盾还能够协调。GPT-3 模型以及 ChatGPT 产品取得举世瞩目的成功以后，OpenAI 站上了全世界人工智能技术研究的巅峰，此时它的前方是一眼看不到边际的无人区，后方有谷歌和 Meta 等传统巨头的呼啸追赶，作为组织的领导者，压力之大可想而知。 在 2023 年接受《麻省理工科技评论》的专访○一时，苏茨克维公开表达了当前 OpenAI 的最优先事项不是构建下一个 GPT 版本，而是应该找出阻止超级人工智能“失控”的方法。他甚至认为 ChatGPT 可能是有意识的，现在的 GPT模型已经被观察到具有智能涌现的现象，ChatGPT 已经能够自己完成包括编写代码在内的很多事情，有什么办法能够百分百保证它只会用代码来解决用户提出的问题，而不是用代码来实现它自己忽然涌现出的奇思妙想呢？ 2023 年 7 月，苏茨克维和研究员简·雷克（Jan Leike，1986—）一起在OpenAI 内部牵头成立了一个名叫“超级对齐”（Superalignment）的独立组织，这个内部组织的权限非常高，而且允许独占全公司 20% 的算力资源（此前笔者曾提过 2024 年 OpenAI 的算力成本高达 70 亿美元，20% 也是一笔天文数字的费用），它的使命是确保人工智能系统在人类需求和优先事项范围内工作。事实上，“Superalignment”这个英文单词本身就是为此目的而构造出来的，它特指当机器智能超出人类水平时，如何保证机器仍能听从人类的指令在特定范围 346 第三部分 第三波高潮 ○一 信息来源：https://www.mittrchina.com/news/detail/12676。 ## PDF_PHYSICAL_PAGE_INDEX=362 | PRINTED_PAGE=347 内工作，如图 8-12 所示。 2023 年 11 月 6 日，OpenAI 在旧金山举办了首届开发者大会（OpenAIDevDay），会上奥特曼用短短 45 分钟的演讲点燃了广大开发者的热情，他向开发者承诺他们未来可以定制并改进 GPT 服务，为 GPT 创造出更多的新能力，并把自己的成果上架到 GPT 商店中。苏茨克维认为奥特曼的这一行为严重忽视了 OpenAI 在技术安全方面准备不足的问题，连 OpenAI 自己对如何安全地发展 ChatGPT 都没想明白，此时把全世界的开发者引进来，如果发生什么事，谁来保证？谁能保证？谁敢保证？ 2023 年 11 月 16 日，代表 OpenAI 参加全球最重要的峰会之一—APECCEO 峰会的奥特曼刚刚发表完演讲，正在与几位朋友畅谈人工智能，忽然收到苏茨克维的信息，通知他明天中午 12 点参加董事会的视频会议。 2023 年 11 月 17 日，奥特曼准时接入视频会议，他一脸惊愕地听到苏茨克维宣布讨论已经结束，董事会以 4:2 的票数决定罢免奥特曼的 CEO 职位，并将他解雇。另一位缺席的董事布罗克曼在会议最后也收到了快速通话邀请，布罗克曼虽然没有被解雇，但也被告知将从董事会中除名。OpenAI 的董事会一共6 人，分为 3 名内部董事和 3 名外部董事，内部董事是 CEO 奥特曼、CTO 布罗克曼和首席科学家苏茨克维，外部董事是 Quora 首席执行官亚当·迪安杰罗（Adam D’Angelo）、Fellow Robots 联合创始人塔莎·麦考利（Tasha McCauley） 第 8 章 从学习到创造 347 ## PDF_PHYSICAL_PAGE_INDEX=363 | PRINTED_PAGE=348 以及乔治城大学安全与新兴技术中心的海伦·托纳（Helen Toner）。当天下午，OpenAI 就在官网上迅速向外界公开了奥特曼被解雇的消息。 2023 年 11 月 19 日，在被解雇两天后，奥特曼戴着访客证重返 OpenAI总部大楼。过去两天里，“谋权篡位”式的剧本让 OpenAI 的大多数员工感到十分不满，许多人表示如果奥特曼真的被解雇，那他们将与奥特曼一同退出OpenAI，另起炉灶重新开始，其中自然包括布罗克曼。奥特曼在员工中的声望与影响力是他与董事会谈判的底气，在这次谈判中，他不仅要求董事会撤销解雇他的决定，还要求四名反对他的董事全部退出董事会。谈判最终没有达成任何结果，当天晚上，苏茨克维代表董事会宣布奥特曼将不会回到 OpenAI。 2023 年 11 月 20 日，推特上发起了一场声势浩大的“没有员工，OpenAI将一无是处”（OpenAI is nothing without its people）的接力转发活动。同时，OpenAI 的员工开始签署联名信，给董事会下最后通牒，威胁如果不恢复奥特曼和布罗克曼的职务，他们就集体辞职加入微软。微软 CEO 萨提亚·纳德拉（Satya Nadella）马上发推文说欢迎奥特曼加入，微软愿意为所有从 OpenAI 离职的员工提供相同的职位，并兑现价值 1000 万美元的 OpenAI 股权作为签约奖金，这听起来是一笔不菲的巨款，可比起当时估值达到 900 亿美元的 OpenAI来说，哪怕雇佣其全部 770 名员工并支付签约奖金也只需不到 80 亿美元，立省 90% 的买卖可太划算了。在联名信的签署人数到达 650 人后，一切迹象表明 OpenAI 董事会大势已去，到最后，甚至连苏茨克维本人也签署了联名信，并发推文向奥特曼道歉，表示他对自己在董事会上的行为感到后悔。 2023 年 11 月 21 日，OpenAI 原有董事会就地解散，被罢免了 100 多个小时的奥特曼强势回归，重新担任 CEO，一场现代逼宫剧宣告落幕。随后的半年内，布罗克曼宣布暂时退出公司事务，将至少休假一年时间；苏茨克维则从他联合创建并工作了 10 年的 OpenAI 彻底离开，关注人工智能安全却不产生任何经济效益的“超级对齐”团队自然毫不意外地被解散了。成王败寇，破镜难圆，苏茨克维的退出也只是给 OpenAI 的理想主义举办了个葬礼罢了。 至此，OpenAI 的 6 位联合创始人，乃至扩大到最初的 11 位员工○一，就仅剩下奥特曼和沃伊切赫·扎伦巴（Wojciech Zaremba）两人仍留在 OpenAI 工作。囿于书籍出版的时效性，笔者只能写到 2024 年为止，OpenAI 后续的沉浮兴衰，就留待读者来见证了。 348 第三部分 第三波高潮 ○一 OpenAI 最初 11 位员工的去向：https://wallstreetcn.com/articles/3723566。 ## PDF_PHYSICAL_PAGE_INDEX=364 | PRINTED_PAGE=349 8.8 本章小结 本章的主角不仅有古德费洛和苏茨克维，笔者还花费了大量笔墨去写OpenAI 这家企业的发展故事，与之前香农、图灵、皮茨、辛顿等个人作为主角的故事相比，OpenAI 毫不缺乏拟人化的传奇色彩。当然，笔者的本意不是用一些商业八卦来博取读者的眼球，OpenAI 这家企业的兴衰充其量只是人工智能在近 10 年发展的缩影，而是想借此说明当下已不再是六七十年前香农、图灵的年代，人工智能处于一片混沌中，凭过人的头脑、超前的思维就能推动人工智能的发展；也不是二三十年前辛顿等三巨头的年代，那是人工智能大厦的根基彻底夯实之前，凭着个人英雄主义和坚定的意志推动人工智能发展的最后一次机会。今天人工智能的主流方向决定了它必须依赖规模定律，庞大且复杂，昂贵且现实，个体的智慧灵光依然十分重要，但决定性的改进必须依靠群体协作才可能完成，在此背景下，智慧的传承将是比算力、数据等一切资源更加坚实的竞争壁垒。 古德费洛、苏茨克维等新一代学者将辛顿和本吉奥等人开创的深度学习延伸至生成式领域，这是传承；OpenAI、DeepMind 等独角兽企业在谷歌和微软等行业巨头的平台设施与孵化投资下创造出震惊世界的产品，这是传承；甚至连 OpenAI 公司的 ChatGPT、Anthropic 公司的 Claude、xAI 公司的 Grok、谷歌公司的 Gemini、Meta 公司的 Llama 等互为竞争关系的产品，其主创人员和技术体系间也存在千丝万缕的联系，这些都是传承。 人工智能技术虽然起源于西方，但这项技术注定是人类未来科技的关键组成部分，上至国家下至企业都一定会在这个领域长期相互竞争，我们不仅要关注算力芯片的生产制造，关注智能技术如何转化成商业产品，还必须在更基础的理论研究与人才传承上不断投入，补全短板，以便在这个领域的未来竞争中取得优势。 第 8 章 从学习到创造 349 ## PDF_PHYSICAL_PAGE_INDEX=365 | PRINTED_PAGE=NOT_DETECTED ## PDF_PHYSICAL_PAGE_INDEX=366 | PRINTED_PAGE=NOT_DETECTED · Part 4 · 第四部分 人机共生 ## PDF_PHYSICAL_PAGE_INDEX=367 | PRINTED_PAGE=NOT_DETECTED ·Chapter ·第 9 章 与机器共生 Now this is not the end. It is not even the beginning of the end. But it is, perhaps, the end of the beginning. 现在并不是结束，结束甚至还没有开始，现在仅仅是序幕的尾声。 —温斯顿·丘吉尔（Winston Churchill），《阿拉曼战役胜利演说》，1942 年 9.1 概述 在本书的最后，笔者计划用一整章的篇幅、用十多个人工智能的实际案例来尝试回答几个问题：经过 70 年的发展，当下的人工智能到底发展到什么程度了？现在距离我们设想的目标还有多遥远？会对我们有什么影响？ 要说距离目标有多远，既取决于发展的速度，也取决于所定目标本身的高度和难度。人工智能追求的目标应该是什么，自 1980 年开始学术界便很明显地分裂出两种不同的理念○一：一种是希望人工智能借鉴人类解决某一类问题时表现出的智能行为，研制出更好的工具，用来解决特定的智力问题，这种观点现在被称为“专用人工智能”（Artificial Narrow Intelligence，ANI）或者“弱人工智能”（Weak Artificial Intelligence）；另一种理念是模仿人类的思维，希望能够研制出各方面都可以与人类智能比肩的人造智能体，甚至是最终能够超越人类智慧水平的人造物。这种人造智能体可以为人类解决多类问题，甚至可以有自己的心智和意识，能根据自己的意图开展行动，现在一般被称为“通用人工智能”（Artificial General Intelligence，AGI）或者“强人工智能”（Strong ArtificialIntelligence）。 ○一 “强人工智能”和“弱人工智能”的划分和定义，首次出现于 1980 年约翰·希尔勒（JohnSearle，1932—）的《行为与脑科学》（The Behavioral and Brain Sciences）一书中。 ## PDF_PHYSICAL_PAGE_INDEX=368 | PRINTED_PAGE=353 科幻小说、电影大多都是以强人工智能作为假想对象，但当下人工智能技术所取得的成就，可以说主要还是源于弱人工智能。对强人工智能的研究才刚刚起步，这部分研究又被细分成两个方向。一个方向是自下而上地探索，旨在创建能够理解、学习和执行任何人类能够完成的任务的智能体。这种智能体不局限于特定领域，而是能够解决跨领域的通用问题，然后再在此基础上去探索人类智能的奥秘。现在人们所说的 AGI 基本都特指这一条技术路线。由于近几年 ChatGPT 等产品的成功，在解决通用问题这个“小目标”上终于算是取得了一些初步成果，但距离找到产生智慧的奥秘，达成强人工智能的“大目标”仍十分遥远。另一个方向是自上而下地探索，先解析或模拟出人类的智慧，再利用它来解决问题。譬如通过对人脑的详细模拟，试图扫描并建模人类大脑的结构和功能，然后在计算机上运行这些模型，复制人类大脑的所有认知能力；又譬如通过对“人工意识”（Artificial Consciousness）的理论研究来创建具备自我意识、能够体验主观感受与情感的人工智能系统。在这个方向上，70 年来基本上没有任何实质性的进展，甚至连稍微严肃一点的学术活动都没有 ，这不仅是因为人类并不知道智能产生的原因，而且人类并没有什么让机器具备情感、意识方面的实际需求（相关讨论见本书 1.6 节），科学界主流的观点也普遍认为基于人类自身安全考虑，不应该往这方面过多深入。 因此，在稍后将讨论的所有案例里，笔者度量人工智能发展程度时还是主要以弱人工智能为准绳，把人工智能的应用效果与人类的某一种技能或者某一方面能力单独拿出来进行比较，看看机器在这些单项技能上距离人类水平还有多远，或是机器已经超越人类多远了。我们只关注人工智能解决问题时可观察的外部表现，而不关心机器内部是如何“思考”来解决这些问题的，更不会纠缠机器的意识、情感、意志、性格方面的内容。 第 9 章 与机器共生 353 ○一 引自国际人工智能联合会前主席、牛津大学计算机科学系主任迈克尔·伍尔德里奇（Michael Wooldrige）教授在 2016 年全球人工智能与机器人峰会（CCF-GAIR）上的发言，此会于 2016 年 8 月 12\~13 日在深圳举办。 ## PDF_PHYSICAL_PAGE_INDEX=369 | PRINTED_PAGE=354 9.2 引言：“白痴”与“天才” 2017 年 10 月，美国康奈尔大学发表了一篇名为《人工智能的智商评测与 智 能 等 级 研 究》（“ Intelligence Quotient and Intelligence Grade of ArtificialIntelligence”）○一的论文，论文中分析了当时谷歌、微软、百度、苹果等世界知名软件企业的人工智能产品，通过数据统计，总结出一种可同时面向人类和人工智能产品的通用智力模型，为人类和机器的智能水平建立了一个统一的度量标尺，以对人类和人工智能产品的智力进行相对公平的对比测评。 随后，研究团队分别对2014年和2016年世界范围内主要软件公司的人工智能产品，以及三个不同年龄段的人群进行了智力测试，得出如表9-1所示的数据。 354 第四部分 人机共生 ○一 https://arxiv.org/abs/1709.10242。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb.md?start=370&limit=10)