---
schema_version: "library-reader-v1"
source_type: "original_book"
title: "AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的..."
author: null
edition: null
publisher: null
year: null
isbn: null
library_document_id: "75afffda-b96b-4df5-89ff-2ec037cfed66"
source_sha256: "21c9bed4763f96ba9dce4c4e24be07b2ddb63e08acce9107a510c1026714c784"
pdf_physical_page_count: 491
pdf_physical_page_index_base: 0
range_start: 300
range_count: 10
html_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66?start=300&limit=10"
markdown_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=300&limit=10"
previous_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=290&limit=10"
next_url: "https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=310&limit=10"
---
# AI 3.0（畅销书《复杂》作者、复杂系统前沿科学家梅拉妮·米歇尔，历经10年思考，厘清人工智能与人类智能的全新力作，全景式地展现了人工智能的...
> 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。
## PDF_PHYSICAL_PAGE_INDEX=300 | PRINTED_PAGE=NOT_DETECTED
2016年，谷歌推出了一种新型的“神经机器翻译”（neural machine translation, NMT）系统，并声称他们已经在机器翻译质量方面取得了迄今为止最大的进步 1 ，但是，机器翻译系统的水平仍然远低于优秀的人类翻译员。
自动翻译，特别是英语和俄语之间的翻译，是最早的人工智能项目之一。自动翻译的早期发展得益于数学家沃伦·韦弗在1947年的大力推动，他曾这样描述自己的想法：“人们会自然而然地想到翻译的问题是否可以被视为密码学中的一个问题。当我看一篇用俄语写就的文章时，我想说，这其实是用英语写的，只不过它被编码成了一些奇怪的符号，我现在需要解码它。” 2 与人工智能中经常出现的情况一样，这种解码比人们最初预期的要更困难。
与早期的许多其他人工智能研究一样，机器翻译的原始方法依赖于人类指定规则的复杂集合。为了将源语言（如英语）翻译成目标语言（如俄语），程序通常会将这两种语言的语法规则及其句法结构之间的映射规则编码进机器翻译系统。此外，程序员还会为机器翻译系统创建词对词的或短语对短语的等价关系“字典”。就像许多其他在符号人工智能方面的工作一样，虽然这些方法在某些特定的情况下表现得很好，但它们相当脆弱，会面临我在之前讨论过的来自自然语言的所有挑战。
从20世纪90年代开始，一种被称为“统计机器翻译”（statistical machine-translation）的新方法开始在机器翻译领域占据主导地位。和同一时期人工智能其他方面的发展趋势类似，统计机器翻译依赖于从数据而非从人类制定的规则中学习，训练数据由大量成对的句子组成：每对句子中的第一个句子来自源语言，第二个句子是将第一个句子用目标语言翻译后的结果。这些成对的句子的来源有：双语国家的官方文件，例如，加拿大议会的每一份文件都是分别用英语和法语编写的；联合国的文字记录手稿，其中的每一份都会被翻译成联合国的六种官方语言；以及其他大量的原始的和翻译后的文件。
## PDF_PHYSICAL_PAGE_INDEX=301 | PRINTED_PAGE=NOT_DETECTED
20世纪90年代到21世纪的前10年，统计机器翻译系统通常使用的是包含源语言和目标语言中短语连接概率的大型计算表。当用英语给定一个句子时，比如“一位男士走进一家餐厅”，系统会把这个句子分解成短语：“一位男士走”“进一家餐厅”，并在概率表中查找与这些短语相对应的最佳翻译。这些系统还会设定额外的步骤来确保翻译后的短语可以组成一个合理的句子，但这一过程主要是依据从训练数据中学到的各种短语配对的概率，系统并不知道其中的原理。尽管统计机器翻译系统对这两种语言的语法都知之甚少，但总的来说，这些方法要比更早期的基于规则的方法有更好的翻译效果。
谷歌翻译可能是目前最为广泛使用的自动翻译程序，从2006年推出起，一直在使用这种统计机器翻译方法，直到2016年，谷歌研究人员称他们研发了一种更加优越的基于深度学习的翻译方法，也就是神经机器翻译。之后不久，所有最先进的机器翻译程序都采用了神经机器翻译方法。
编码器遇见解码器
## PDF_PHYSICAL_PAGE_INDEX=302 | PRINTED_PAGE=NOT_DETECTED
图12-1展示了当你使用谷歌翻译或其他现代机器翻译程序时隐藏在其中的原理，此处是将英语翻译为法语。 3 这是一个复杂的系统，所以，我简化了很多细节，但是从这个图中，你应该能看出其主要的思想 4 。
注：白色矩形表示编码器和解码器网络，在连续的时步中运行。输入的单词首先被转化为词向量，然后再被输入网络，其中wordvec(man)即为单词“man”的词向量。
图中上半部分是一个递归神经网络，也就是一个编码器网络，与我在前一章中所描述的非常相似。英语句子“A manwent into a restaurant.”需要经过7个时步进行编码，我用白色的矩形来表示编码这个句子的网络，稍后我将介绍在矩形内的网络实际上是什么样子的。在编码阶段，每经过一个时步网络就会把句子中的一个单词以一个词向量的形式输入到网络中。 5 从一个时步到下一个时步的虚线箭头是隐藏层中递归连接的简略表达。一次处理一个单词，网络会通过这种方式建立对这个英语句子的一个表示，并将其编码为其隐藏层单元中的激活值。
## PDF_PHYSICAL_PAGE_INDEX=303 | PRINTED_PAGE=NOT_DETECTED
在最后一个时步中，编码器网络会被输入一个结束符号（END），此时隐藏单元的激活值就成了对这个完整句子的一个编码。这些来自编码器的最终隐藏单元的激活值就作为第二个网络——解码器网络（decoder network）的输入。如图12-1的下半部分所示，这个解码器网络将创建该句子的翻译版本。解码器网络也是一个递归网络，但其输出的是构成翻译句子的单词的数字表示，这些数字会在下一个时步被反馈回网络中。 6
注意这一法语句子有7个单词，而英语句子只有6个单词。这个编码器-解码器系统在原则上能翻译任意长度的句子。 7然而，如果句子太长的话，编码器网络最终会丢失有用的信息。也就是说，在后面的时步中，它会“忘记”句子前面的重要部分。例如，我们看看下面这个句子：
My mother said that the cat that flew with her sister to Hawaii the year before you started at that new high school is now living with my cousin.（我妈妈说，那只在你开始上高中之 前被她妹妹带到夏威夷的猫，现在和我的表妹住在一 起。）
我们的问题是：谁和我的表妹住在一起？这个答案可能取决于“is”和“living”如何被翻译。人类很擅长处理这种错综复杂的句子，但递归神经网络却很容易失去主线。当网络试图将整个句子编码为一组隐藏单元激活值时，它就会变得混乱。
## PDF_PHYSICAL_PAGE_INDEX=304 | PRINTED_PAGE=NOT_DETECTED
20世纪90年代末，瑞士的一个研究团队提出了一个解决方案：应该在一个递归神经网络的每个单元中都构造一个更加复杂的结构，并给其分配专门的权重来判定什么信息应该在下一个时步被发送出去，以及什么信息可以被“遗忘”。研究人员称这些更复杂的单元为“长短期记忆”（long short-termmemory, LSTM）单元 8 。这是一个令人困惑的名字，它指的是这些单元允许更多短时记忆贯穿句子的整个处理过程。与传统神经网络中的正规权重一样，这些专门的权重通过反向传播进行学习。编码器和解码器在图12-1中被抽象为白色矩形框，实际上，它们是由长短期记忆单元组成的。
深度学习时代的机器自动翻译是由大数据和快速计算造就的巨大成功。为了创建一个编码器-解码器网络，比如，将英语翻译成法语的，这些网络需要在超过3 000万对人工翻译的句子样本上进行训练。由长短期记忆单元组成，并且在大量数据集上进行训练的深度递归神经网络，已经成为现代自然语言处理系统的重要组成部分，不仅仅被用在谷歌翻译的编码器-解码器网络中，还被用在语音识别、情感分类以及我们将在下面看到的问答系统中。这些系统通常包含一些可以提高其表现的机制，比如同时前向和后向输入原始的句子，以及在不同的时步上将“注意力”集中在句子的不同部分 9 。
## PDF_PHYSICAL_PAGE_INDEX=305 | PRINTED_PAGE=NOT_DETECTED
机器翻译，正在弥补人机翻译之间的差距
谷歌声称其于2016年推出的神经机器翻译这种新方法弥补了人和机器翻译之间的差距 10 。另外几家大型科技公司迎头赶上，也陆续创造了他们自己的在线机器翻译程序，同样是基于编码器-解码器的架构。这些公司以及为其报道的科技媒体，都在热情地推广这些翻译服务。《麻省理工科技评论》杂志报道称：“谷歌的这一新服务几乎可以像人类一样翻译语言。” 11微软在一场公司推介会上表示其中文对英文新闻翻译服务的水平已经和人类相当 12 。IBM宣称：“沃森现在能流利地说9种语言，且这个数量仍在增加。” 13 Facebook负责语言翻译的高管坦言：“我们相信神经网络正在学着理解语言的潜在语义。”14 专业翻译公司DeepL的首席执行官吹嘘道：“我们的机器翻译神经网络已经发展出惊人的理解力。 15
总体来说，这些声明在一定程度上是由科技公司多种多样的人工智能服务在销售方面的竞争所推动的，而语言翻译是其中一项盈利潜力很大的主要服务。虽然像谷歌翻译这样的网站会提供针对少量文本的免费翻译服务，但如果一家公司想要翻译大量文档或在自己的网站上为客户提供翻译，则需要使用收费的机器翻译服务，所有这些服务都由相同的编码器-解码器架构提供支持。
我们应该在多大程度上相信机器实际上真的在慢慢学会理解语义，或者说机器翻译的准确性正在迅速接近人类水平？为了回答这个问题，让我们更加仔细地去看这些声明所依据的事实。首先，我们应该弄清楚这些公司如何衡量一台机器或一个人的翻译质量。评估翻译质量并非那么简单明了，一段给定的文本可以有很多种正确的翻译方式，当然，也有更多错误的翻译方式。由于对给定的文本进行翻译没有唯一的正确答案，因此很难设计出一种能够自动评估系统翻译准确性的方法。
## PDF_PHYSICAL_PAGE_INDEX=306 | PRINTED_PAGE=NOT_DETECTED
机器翻译水平已与人类相当以及人类和机器翻译之间的差距正在缩小，这些观点的提出都是基于两种评估翻译结果的方法。第一种是自动化的方法，使用一个计算机程序，将一台机器的翻译与人类的进行比较，并给出分数；第二种方法是雇用精通两种语言的专家来人工评估翻译。对于第一种方法，在几乎所有的机器翻译评估中使用的程序都是“双语评估候补”（bilingualevaluation understudy，BLEU） 16 。为了衡量翻译的质量，BLEU主要计算不同长度的单词和短语，在机器翻译的结果和一个人为创建的“参考文献”即正确答案之间匹配的数量。尽管BLEU的评分往往比较符合人们对翻译质量的判断，但BLEU总是倾向于高估糟糕的翻译。许多机器翻译的研究人员表示：BLEU是一种有缺陷的评估翻译的方法，之所以使用它，仅仅是因为还没人能找到总体性能更优的自动评估方法。
鉴于BLEU的缺陷，评估一个机器翻译系统的黄金标准方法还是让精通两种语言的专家对系统生成的翻译进行人工评分。这些专家还能对专业翻译人员的相应翻译进行评分，以便与机器翻译的评分进行比较。这种黄金标准方法也有缺点：显然，雇用相关人员需要花费很多钱，而且不同于计算机，人类在完成一定量的翻译评分后就会感到疲劳。因此，除非你能雇用一支手头有很多空闲时间的双语评估团队，否则这一方法就难以实施。
## PDF_PHYSICAL_PAGE_INDEX=307 | PRINTED_PAGE=NOT_DETECTED
谷歌和微软的机器翻译团队都曾通过雇用双语评估团队来执行这种并不完全达标的黄金标准评估 17 。每个评估人员都会被分配一组源语言句子，以及这些句子被翻译成目标语言后的结果，其中包括神经机器翻译系统的翻译和专业翻译人员的翻译。谷歌的评估内容包括约500个来自新闻报道和维基百科文章的不同语种的句子。他们的做法是：对每位评估人员在所有机器翻译以及人工翻译的句子上的评分分别取平均值，作为每位评估人员的最后评分，然后对所有评估人员的最后评分分别求平均值。谷歌的研究人员发现：评估人员对神经机器翻译系统翻译结果的平均评分接近（尽管低于）人工翻译句子得到的平均评分。这项评估中的所有语言对都出现了这种情况。
微软使用了一种类似的方法来评估其神经机器翻译系统将新闻报道从中文翻译为英文的能力。结果表明：其神经机器翻译系统的翻译评分非常接近（有时甚至超过）人工翻译的评分。人类评估人员一致认为：神经机器翻译生成的译文要比过去的机器翻译更好。
## PDF_PHYSICAL_PAGE_INDEX=308 | PRINTED_PAGE=NOT_DETECTED
随着深度学习的引入，机器翻译的水平已经得到很大提升。那么这样就能证明机器翻译现在已接近人类水平了吗？在我看来，这种声明从好几个方面看来都是不合理的。首先，对评分取平均数会产生误导性。比如，对于机器翻译来说，尽管其对大多数句子的翻译被评为“好极了”，但也有许多句子被评为“糟透了”，那么其平均水平是“还不错”；然而，你可能更想要一个总是表现得相当好、从来不会出错的、更可靠的翻译系统。
其次，这些翻译系统接近人类水平或与人类水平相当的说法完全是基于其对单个句子翻译水平的评估，而非篇幅更长的文章的翻译。在一篇文章中，句子通常会以重要的方式相互依存，而在对单个句子翻译的过程中，这些可能会被忽略。我还没有看到过任何关于机器翻译长文的评估的正式研究，一般来说，机器翻译长文的质量会差一点，比如说，对于谷歌翻译，当给定的是整个段落而非单个句子时，其翻译质量会显著下降。
最后，这些评估所使用的句子都是从新闻报道和维基百科页面中提取的，这些页面通常都经过慎重的编写以避免使用有歧义的语言或习语。这样的语言可能会给机器翻译系统带来严重的问题，但在现实世界中是无法回避的。
迷失在翻译之中
## PDF_PHYSICAL_PAGE_INDEX=309 | PRINTED_PAGE=NOT_DETECTED
还记得我在上一章开头提到的《餐厅际遇》的故事吗？我并不是为了测试翻译系统才设计这个故事的，但这个故事的确很出色地阐明了机器翻译系统面临的挑战——口语、习语和有歧义的语言。
我用谷歌翻译把《餐厅际遇》从英语翻译成三种目标语言：法语、意大利语和中文。我把不带原文的翻译结果发给了我那些同时懂英语和目标语言的朋友们，并请他们把谷歌翻译的翻译结果再翻译回英语，以便了解一个熟练掌握相应目标语言的人会从谷歌翻译后的文本中得到什么。在这里，为了读者的阅读乐趣，我在下方列出了一些翻译结果。
◎原本的故事：
A man went into a restaurant and ordered a hamburger, cooked rare. When it arrived, it was burned to a crisp. The waitress stopped by the man's table.“Is burger okay?” she asked.“Oh, it's just great,”the man said, pushing back his chair and storming out of the restaurant without paying. The waitress yelled after him, “Hey, what about the bill?” She shrugged her shoulders, muttering under her breath,“Why is he so bent out of shape?”（一位男士走进一家餐 厅，点了一个汉堡包，要半熟的。当汉堡包上桌时， 它是烤煳了的。女服务生在这位男士的桌子旁停下， 并问道：“汉堡包还可以吗？”“哦，它简直太好 了！”这个人说着，把椅子推到后面，没有付钱就冲 出了餐厅。女服务生在他后面喊道：“嘿，账单怎么 办？”她耸了耸肩，小声嘀咕着：“他为什么如此愤 怒？”）
下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/75afffda-b96b-4df5-89ff-2ec037cfed66.md?start=310&limit=10)