被算法操控的生活：重新定义精准广告、大数据和AI

然后我又问了她同样的问题，她也给了我同样的回答。但当我第三次问她时，她勃然大怒：“你总是以同样的方式回答每个问题吗？你总是用同样的方式回答每一个问题吗？我认识比这更多的词语，另外我只是一个机器人。”

“对不起。”我说。

“没关系。毕竟，你也只是个人。”

我喜欢水谷。她知道怎么说服人，会讲笑话，而且喜欢自我反思。我问她是否会对她自己讲的笑话放声大笑，她告诉我她可以模拟“哈哈”这样的笑声。

水谷是她的创造者史蒂夫·沃斯维克（SteveWorswick）呕心沥血的得意之作。正是他的编程技巧和幽默感的完美结合，让水谷得以收放自如。但她也有弱点，那就是不太记得她刚刚进行过的谈话。当我因她的一个笑话发笑时，她问我在笑什么，于是我让她复述一下它，可她却开始顾左右而言他，说着“我当然会讲”和“好吧，我会讲”之类的话，而没有领会到我指的是她刚刚才讲过的笑话。

我用了词语“它”来指代让我发笑的那个笑话，可她不知道“它”是什么意思。

对于像水谷这样的聊天机器人来说，这些是最致命的弱点。它们处理单个句子的效率越来越高，却永远无法完全理解对话的语境。为了提高人工智能的表现，史蒂夫全面检索了水谷在早期对话中所犯的错误，并在她的数据库中添加了新的、更好的答案。然而这只是改进了单个答案，却不能提高水谷的整体理解水平。

被算法操控的生活OUTNUMBERED

①勒布纳人工智能奖由美国发明家休·勒布纳创办于1990年，旨在奖励最擅长模仿人类真实对话场景的程序。水谷后来在2018年第三次获颁勒布纳奖。

190

如何训练神经网络成为托尔斯泰？

正是对真正理解语言的能力的追求，推动着脸书和谷歌的人工智能实验室中的语言研究。史蒂夫对人工智能的研究方法是“自上而下”的，需要他在理解语言逻辑和洞察最佳答案之间进行平衡，但脸书和谷歌等公司的人工智能实验室使用的是“自下而上”的方法，他们的目标是训练神经网络来学习语言。

“神经网络”（neural network）这个术语指的是一系列受人脑工作方式启发的算法。人的大脑由数十亿个相互连接的神经元（interconnectedneurons）组成，这些神经元通过电信号和化学信号来构建我们的意识和思维。神经网络是对这一生物学过程的高度抽象和模仿。它们以相互连接的虚拟神经元形成的网络的形式来表示数据，输入端接收有关外部世界的数据，输出端产生执行某个动作的决定。对于语言问题，输入的是作为数据的词语，而输出的动作是生成词语序列中的下一个词语。从词语输入到动作输出的过程中，这些词语通过了被称为“隐藏神经元”（hiddenneurons）的连接。这些隐藏的神经元决定了如何将输入词转换成输出词。

为了理解这种“自下而上”的神经网络方法，我要回过头看我自己的猫狗故事生成器。在以前的版本中，我采用了“自上而下”的设计方法，构建了解决问题的逻辑门。现在让我用“自下而上”的方式来构建一个神经网络，在这个神经网络中，这些词语会被传输到一个隐藏层进行处理，处理结果会被传递给输出层，后者会把隐藏层的结果进行整合，然后输出下一个词。

在我的神经网络创建之初，隐藏神经元之间的连接是随机的，输出的词语没有句式结构【如图15.2（a）所示】，典型的输出就像这样“狗咬咬追猫猫狗咬追狗追追狗追猫……”。

第三部分 人工智的未来类了吗？

191

下一步是对神经网络进行训练。训练过程涉及给它输入词语并将输出结果与我希望的结果进行比较。每当它产生一个正确的输出时，神经网络中产生该输出的连接就会得到加强。所以，当它在“狗追”之后写下“猫”的时候，产生这个联系的连接就得到加强。通过反复加强给出正确序列的连接，神经网络就脱胎换骨成一种独特的形式【图15.2（b)】，并开始输出越来越接近我用“自上而下”法设计的模型所创造的“杰作”。经过20000个序列的训练后，我的新算法已经能够完整地领会我的意图：它输出“猫咬狗追猫咬狗追猫追狗追狗追狗追猫咬狗追猫追……”。

被算法操控的生活OUTNUMBERED

192

就最终结果而言，我在本章开始时使用的“自上而下”法和神经网络的“自下而上”法的训练方法并没有区别。这两种方法输出的都是猫狗无限循环互动。但就这些模型如何推广应用到其他方面而言，两者有着天壤之别。我的“自上而下”构建的这个算法方法只对猫狗互斗文本的生成有用，而“自下而上”的神经网络则能够基于它所得到的奖励（rewards）来训练自己。

现在我所要做的就是创造一个更熟练的神经网络作者，并找到大量的文本来训练它。这不难。列夫·托尔斯泰的所有作品都可以在网上免费下载，我用了不到一分钟就找到并下载了《战争与和平》(War and Peace)和《安娜·卡列尼娜》。编写一个神经网络来阅读这些书并生成文本需要我进行更多的工作，不过我已经将大部分事情完成了。我问那位经常使用Tinder的同事亚历克斯，他是否能训练一个神经网络来学习托尔斯泰。他很快发现了—组由谷歌创建的程序库（programming libraries)，这让他能够完成这项工作。他只花了几天时间就把它们训练成了托尔斯泰。

亚历克斯使用了神经网络的一个子类，称为递归神经网络，这种网络特别适合学习序列数据，就像我们逐字逐句地读《战争与和平》一样。输入神经元和隐藏神经元与递归神经网络形成一个“梯子”，这个“梯子”将这些词语“提”到神经网络顶部，并它们组合起来预测应该产生的下一个词。亚历克斯构建了一个神经网络，它通过读取前25个词语和标点符号，来预测第26个是什么词语或标点符号。这个神经网络已多次通读托尔斯泰的小说，试图在下一个词语出现之前就对其进行预测。当它预测出了正确的词，或者预测了一个相似的词，网络中那些产生正确预测的连接就会得到加强，这样一来就大大增加了猫狗算法的复杂性。我的猫狗算法之前只读取两个词语的输入，但我们必须给予托尔斯泰应有的尊重，25个词语还算说得过去。

第三部分 人智能的未类了吗？

193

训练产生了相当好的效果。以下是部分节选：

给皮埃尔的母亲捎个信让所有人最后都不开心。她会再一次成为上流社会的淑女。当他走到他身后的时候。在他身后的肩章下挣扎着。贝格不由自主地表示同情。

我确实很喜欢这里的措辞：贝格对皮埃尔母亲收到的不幸消息不由自主地产生了同情。“不由自主地表示同情”完全是神经网络的原创，《战争与和平》和《安娜·卡列尼娜》中都没有使用这个短语。另一段吸引我的文字是：

他们的脸们几乎使他的头发痒，吞云吐雾，像鼓鼓囊囊的麻布袋子，随着他们的哄笑而有节奏地上下起伏。

如果我们将“脸们”这个词的错误改正，变成“脸”，那么呈现在我们眼前的画面是一群脸像麻布袋子一样鼓鼓囊囊的老头子正不怀善意地围着故事的主人公。同样，这些短语并不是托尔斯泰最初使用的，而是神经网络在试图将他所使用的那类语言进行重新组合。

递归神经网络生成的文本通常语法正确，标点符号使用得当，甚至能把握到作者语言风格的精髓所在。不过，它的输出存在局限性。虽然有时一两个连续的句子看起来读得通，但更长的段落很快就变得前言不搭后语了。下面是一个稍长的文本：

被算法操控的生活OUTNUMBERED

194

……在这个可怕的更年轻的月里，她的威胁还是那么甜蜜，他把他们的忧虑放在心上，而不是问他这样的问题。……

“娜塔莎十分地，”娜塔莎问，吻了他们一下。

她自己走了一步，仍然吸引住了他的注意力。有两次，尼古拉并没有夸张他的胆大程度，虽然他觉得他很遥远，就像我喜欢父亲的女儿一样，我还得说，但是库图佐夫被昨天的表现所征服，而这一切都是斯坦恩被年轻女士们所激发出来的极端情绪。

我还可以列举出无数这样的文本。很快，我就很清楚地意识到不可能让算法来读懂这样一本大部头的书。就像詹姆斯·乔伊斯（JamesJoyce）①碰到托尔斯泰一样，两人完全不在一个频道上，只能各说各话。

苹果 Siri 与神经网络聊天机器人

虽然创作伟大的文学作品远非递归神经网络力所能及，但训练它们掌握更多日常语言是可能的。在谷歌，博士后奥里奥尔·温亚尔斯(OriolVinyals）和黎国（QuocLe）研究了他们是否能利用递归神经网络创建一个IT帮助平台。他们使用了取自一个数据库的近10万份聊天记录来训练神经网络，这些记录的聊天双方是遇到了与电脑相关的问题的客户和试图为他们提供帮助的专家。训练结束后，他们让一个人问了神经网络一些问题：

第三部分 人工智的未类了吗？

①詹姆斯·乔伊斯是爱尔兰作家，二十世纪最伟大的作家之一，后现代文学的奠基者之一，其作品及“意识流”思想对世界文坛影响巨大。但也有不少人指责他的作品晦涩难懂。本书作者所指的意思是说算法产生的长文本和乔伊斯的作品一样晦涩难懂。

195

人：我遇到一个与vpn有关的错误。

机器：您使用网络连接vpn时收到的错误信息是什么？

人：连接被拒绝或诸如此类的信息。

机器：我可以知道您网络连接的版本吗？

人：我不知道。

机器：网络连接是否提示提供用户证书

机器：？

人：是的。

机器：您现在在家还是在工作？

机器：办公室？

人：我在家里。

机器：试试这个

机器：进入URL页面，输入您的姓名和密码。

人：我按你说的做了。

机器：试试以用户名约翰史密斯（JohnSmith）登录，看看它现在能否正常运作。

人：是的，现在它正常了！

机器：太好了。

机器：还有什么我能够帮助您吗？

人：没有了。谢谢你的帮助。

机器：您不是约翰史密斯

机器：祝您晚安。

这台机器用一个微笑结束了它的服务。

许多在线帮助服务已经实现了自动化。脸书旗下的通信应用Messenger为我们提供购物机器人，允许我们点击一系列链接或者发送简单的短信来购买商品。苹果的 Siri和亚马逊的 Alexa可以回答问题，还可以控制家里的设备。开发这些程序时所使用的方法通常是“自上而下”的，因此这些机器人缺乏奥里奥尔和黎国的机器人的特点。它们的研发也需要更长时间；奥里奥尔告诉我，他的工作“是将它并入到现有的神经网络框架中，这个任务花了几个月才完成”。从那以后，谷歌发布了更多工具箱，让程序员更容易创建自己的递归神经网络聊天机器人。

被算法操控的生活OUTNUMBERED

196

让以“自下而上”方法创造的机器人提供服务还为时尚早，它们还没有准备好。有时它们会向用户询问无意义的信息，兜着圈子和用户对话，因此它们的作用不大。虽然神经网络可能有一些个性，但我们大多数人上网时都希望在具体问题上得到直接的帮助。当我们需要信息的时候，机器进行多选题式的提问和提供“自上而下”的公式化答案最有效。

不管最终证明创建服务型机器人的最有效方法是“自上而下”法还是“自下而上”法，有一件事是明确的：在不久的将来，我们会发现自己在网上的聊天越来越多地是和机器人一起进行的。四大会计事务所之一的德勤（Deloitte）发布了关于公共服务自动化的报告，报告将客户服务列为最容易被淘汰的工作之一。智能聊天机器人将帮助我们解答故障问题，给我们提供购物建议，甚至可以让我们进行初步的疾病筛查。

奥里奥尔和黎国继续训练了另外一个神经网络，看它是否能够胜过水谷这样的聊天机器人。他们从一个电影剧本数据库中提取了6200万句话，用于训练递归神经网络。结果出来了，它自称是一名40岁的女性，名叫朱莉娅，住在乡下。她对电影角色和时事相当了解，甚至还能讨论道德问题，虽然讨论的水平和一名吸了大麻的学生差不多。但她在很多方面都前后不一，一会儿说自己是律师，一会儿又说自己是医生，她要用哪个身份取决于你怎么问她。但即便在吸过大麻后，大多数学生还是清楚自己在上哪门课的。

奥里奥尔和黎国付钱给“机械土耳其人”，让他们将朱莉娅与一个以“自上而下”的方法创造的聊天机器人Cleverbot进行比较，看看用哪种方法设计出的机器人更擅长回答问题。朱莉娅以微弱优势击败了Cleverbot。但就目前所知的这些信息，我不确定她是否能击败水谷。如果能够在勒布纳大奖赛上看到她俩来一次唇枪舌剑的交锋，那么人们对结果肯定会充满遐想。

第三部分 人越能的未人类了吗？

197

让我们回到现实中来。朱莉娅到底是什么？水谷有极限，是因为那时史蒂夫·沃斯维克的时间有限，无法回答别人可能向他的机器人提出的所有问题。朱莉娅的极限在哪里？如果我们再给她看几亿部电影，她会变得更加真实、更像人类吗?

我与计算机语言处理方面的权威托马斯·米科洛夫（Tomas Mikolov）讨论了这些问题。在攻读博士学位期间，托马斯发明了一种递归神经网络模型，它是科学家创造朱莉娅和托尔斯泰机器人的基础。接着他来到谷歌工作，创造了Word2vec词语表示算法。Word2vec应用广泛，从网络搜索到翻译，无所不包。几乎所有关于神经网络生成语言的研究都滥觞于托马斯的研究。

托马斯对这些方法的理解让他对朱莉娅这样的机器人产生了怀疑。他不认为朱莉娅是朝着他眼中的人工智能目标迈出的重要一步。他告诉我：“这些网络主要做的是重复利用数据库中的句子，通过聚类实现一些有限的归纳。”这些句子原本就是人写的，电脑只是对它们做点细微改变后再将它们重复出来而已。

同样的批评也适用于托尔斯泰机器人。那些吸引我眼球的奇文瑰句不过是将托尔斯泰的丰富语言稍加改头换面、重新组合罢了。它时不时能够冒出一个托尔斯泰最初没有用写过的佳句，但托马斯在自己所做的分析中直言不讳地指出：“如果你手动挑选算法生成的输出，这些文本读起来可能非常优雅动听，甚至‘智能’，但这完全是假象。”

我同意托马斯的说法，亚历克斯的托尔斯泰虽然有趣，但它是个冒牌货。

被算法操控的生活OUTNUMBERED

198

虽然递归神经网络无法进行真实的对话，但它们仍在彻底地改变我们处理在线文本的方式。只要有足够大的词语数据库，这些神经网络就可以将一种语言翻译成另一种语言，可以自动给图片中的场景贴上相应的标签，也可以提供高级的语法检查。托马斯、奥里奥尔和谷歌的其他数据科学家早就创建了基本的神经网络框架，能够为翻译问题和贴标签的歧视问题提供解决方案，而且这些解决方案比大多数已有的“自上而下”的方法要好。因为科学家只需要在神经网络中输入大量的词语，让神经网络进行学习即可。

进步指日可待，因为神经网络的隐藏层创造了一种对文字进行“数学运算”的方法。在上一章中，我们了解到词语可以用多维向量来表示。向量的加减让我们可以测验单词类比。递归神经网络提供了更复杂的函数以映射词语间的关系。网络能找到反映我们语法规则、标点符号并识别句子中重要单词的函数。

通过研究一个被训练来翻译句子的神经网络，奥里奥尔和他的同事得以更好地理解这种技术是如何工作的。他们发现意义相近的句子“在花园里，我被她给了一张卡片”“在花园里，她给了我一张卡片”“在花园里，她被我给了一张卡片”等，能够在神经网络的隐藏层内生成相似的激活模式。由于这些句子中的词语顺序差别很大，我们可以认为隐藏层提供的是一个概念性的理解：意思相同的句子聚类在一起，每个聚类反映一个不同的概念。正是这种聚类为句子提供了一个基础“意思”，通过它，循环神经网络可以在不同语言间进行翻译，并将词语分配到对应的图像。

当我们深入研究递归神经网络时，我们也能看到它们存在局限的原因。问题不在于我们需要提供更大的词语数据库以使它们获得更强的理解力。它们的理解力有限，是因为它们一次只能接收大约25个词语。如果我们尝试输入更多的词来训练一个神经网络，它对概念的理解能力就开始分崩离析。如果要用一个以上的句子来解释一个概念，那么神经网络是不能表达这个概念的，它更无法表达一部好小说或者一次精彩对话所蕴含的观念。

第三部分 人工智越能的未来类了吗？

199