{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":346,"pdf_page":361,"physical_index":361,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"43768e672d979b1301943bc4fef3c6cba1fb8f97a5394d8f7ca2f021aec3c012"},"chapter":"内容简介","content":"3. 安全\n\n即使将讨论范围限制在“如何安全地发展人工智能技术”这种看起来似乎不应有什么争议的范畴内，分歧也依然存在，而且最终成为导致 OpenAI 创始团队彻底分裂的导火索。\n\n在 OpenAI 内部，对于“安全发展”人工智能的看法分为两派：以奥特曼为代表的“激进派”认为应以人工智能的发展优先，尤其是要保证技术领先优势；而以苏茨克维为代表的“保守派”则认为应以人工智能的安全优先，必须先有严谨的理论和工程技术来确保人工智能对人类来说是安全的，再来谈产品的发展。\n\n当 OpenAI 还是一家怀揣梦想以谷歌为假想敌的初创公司时，外部矛盾占主要地位，这两派的内部矛盾还能够协调。GPT-3 模型以及 ChatGPT 产品取得举世瞩目的成功以后，OpenAI 站上了全世界人工智能技术研究的巅峰，此时它的前方是一眼看不到边际的无人区，后方有谷歌和 Meta 等传统巨头的呼啸追赶，作为组织的领导者，压力之大可想而知。\n\n在 2023 年接受《麻省理工科技评论》的专访<sup>○一</sup>时，苏茨克维公开表达了当前 OpenAI 的最优先事项不是构建下一个 GPT 版本，而是应该找出阻止超级人工智能“失控”的方法。他甚至认为 ChatGPT 可能是有意识的，现在的 GPT模型已经被观察到具有智能涌现的现象，ChatGPT 已经能够自己完成包括编写代码在内的很多事情，有什么办法能够百分百保证它只会用代码来解决用户提出的问题，而不是用代码来实现它自己忽然涌现出的奇思妙想呢？\n\n2023 年 7 月，苏茨克维和研究员简·雷克（Jan Leike，1986—）一起在OpenAI 内部牵头成立了一个名叫“超级对齐”（Superalignment）的独立组织，这个内部组织的权限非常高，而且允许独占全公司 20% 的算力资源（此前笔者曾提过 2024 年 OpenAI 的算力成本高达 70 亿美元，20% 也是一笔天文数字的费用），它的使命是确保人工智能系统在人类需求和优先事项范围内工作。事实上，“Superalignment”这个英文单词本身就是为此目的而构造出来的，它特指当机器智能超出人类水平时，如何保证机器仍能听从人类的指令在特定范围\n\n346\n\n第三部分 第三波高潮\n\n○一 信息来源：https://www.mittrchina.com/news/detail/12676。","previous_page":345,"next_page":347}