{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","id":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","uuid":"cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title":"智慧的疆界 从图灵机到人工智能","normalized_title":"智慧的疆界从图灵机到人工智能","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787111778004","isbns":["9787111778004","9787111695714"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":456,"navigation_url":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","title_url":"https://workshop.closeclaw.top/ai/title/%E6%99%BA%E6%85%A7%E7%9A%84%E7%96%86%E7%95%8C%20%E4%BB%8E%E5%9B%BE%E7%81%B5%E6%9C%BA%E5%88%B0%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb","page_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cf76bc49-7e9b-4f42-bee8-3050a9fb9feb/search"},"page":{"printed_page":338,"pdf_page":353,"physical_index":353,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"e61a9e4acbd9728b0105a2cb0d3f2c87e93c027e345d2b80dd4478cf9e60f138"},"chapter":"内容简介","content":"在 GPT-2 获得巨大成功的同时，OpenAI 团队内部及其投资人对语言模型后续的发展开始出现分歧。主要的分歧点有两个：GPT 模型要不要作为公共模型继续开源供全社会使用，以及 OpenAI 要不要开始进行商业化运作。\n\n从某种意义上说，OpenAI 愿景中的“安全”和“公开”是一对矛盾体，如果所有企业都能平等地取得最先进的人工智能技术，对全人类来说到底是好事还是坏事？由于技术上的巨大成功，这些问题当时仅仅是潜藏于暗处的隐患。经过几个月确保模型安全、不被滥用的内部讨论后，GPT-2 的完整模型和全部代码最终还是在 2019 年 11 月开源，不过当时大概没人想到这是 GPT 系列模型的最后一次开源了，“ OpenAI”这个名字仿佛成了对 GPT 模型的讽刺，OpenAI 行进的路线与“致力于人工智能公共开发”的理想渐行渐远，也许就在此时，分裂的种子已被悄然种下。\n\n2020 年，OpenAI 仍维持着每年一个大版本的节奏，发布了 GPT-3 模型。作为 GPT-2 的继任者，GPT-3 的目标是让模型能够执行更为复杂的任务，譬如编写 SQL 语句、解读文章背后的中心思想、根据用户要求撰写说明公文，等等。OpenAI 希望能够进一步增强 GPT-3 模型的零样本学习性能，对于上述不太依赖专业领域知识的任务，以便不施加额外的处理模型就能直接为普通用户提供服务。\n\n从模型架构来看，GPT-3 的解码器层数从 GPT-2 的 48 层膨胀到 96 层，词向量的维度从 1600 维扩展到 12888 维，模型参数数量更是膨胀了 100 多倍，从 15 亿一下子到了 1750 亿<sup>○一</sup>，这种规模的模型即使不说训练，只考虑推理计算也已经超过了民用硬件的上限，基本与大众无缘了。为了训练 GPT-3，OpenAI同 时 使 用 了 五 个 数 据 集：Common Crawl<sup>○一</sup>、WebText2（Reddit）、Wikipedia、Books1、Books2（其中 Books1 和 Books2 的数据来源未公开）。\n\n338\n\n第三部分 第三波高潮\n\n○一 这里可以插入一个额外知识说明为何 1750 亿（175B）规模的模型已脱离群众了：模型的空间大小基本上等同于参数数量乘以参数进度，以 16 位半精度浮点数（Half-PercisionFloating Point, FP16, 占 2 字节存储空间）为例，一个 70 亿（7B）参数量的模型大概需要占用 14GB 显存。当前（2024 年）许多大模型都会提供 7B、30B 的参数量版本，其最主要目的就是方便个人用户在主流规格的消费级显卡（具有 16GB 显存，如 RTX 4080）和专业级计算卡（具有 64GB 显存，如昇腾 910B）中运行模型。","previous_page":337,"next_page":339}