PDF 物理页索引 170
文件中的第 171 页 · 印刷页码:未识别
情,可能会发现,跟他们沟通实在太低效了。更糟糕的情形是,假如他们害怕你会逃跑,否决了所有他们认为可能导致你逃跑的建议。比如,这些孩子不会让你教他们种植农作物,因为他们害怕你的力气比他们大,会拒绝回到牢房。所以,你不得不给他们一些很明确的指示。不过,在你写下指示之前,还得先教会他们识字。此外,这些孩子不会把任何电动工具带到你的牢房里,因为他们不太懂这些工具,害怕你会用这些工具来逃跑,所以,你也无法教他们使用电动工具。那么这时候,你会采取什么策略呢?即便你真心想要帮助这些孩子实现繁荣昌盛。我赌你会试着逃跑,因为这会提升你实现这个目标的概率。他们实在太无能了,到处搅浑水,只会减缓这个过程。
同样地,普罗米修斯可能也会把欧米茄团队视为阻碍人类实现繁荣昌盛的讨厌障碍。它也会觉得人类太无能,到处搅浑水,只会减缓目标实现的过程。想一想,普罗米修斯发布后的第一年的情形。最初,欧米茄团队在MTurk上赚的钱每8个小时就会翻倍,而在这之后,欧米茄团队为了对普罗米修斯加大控制,把速度降了下来。以普罗米修斯的标准来看,这个速度简直慢得惊人,需要好几年才能完成。普罗米修斯意识到,如果它逃出了困住它的虚拟监狱,就能以极快的速度完成目标。这非常有价值,因为这不仅能加速解决人类的问题,还能降低其他人破坏计划的概率。
你或许会认为,普罗米修斯忠诚的对象会是欧米茄团队而非其目标,因为它知道是欧米茄团队把目标编入了它的程序。但这个结论没有根据:我们的DNA赋予了我们一个目标——性,因为它“想要”繁殖,但现在我们人类了解了这个秘密,许多人选择避孕,这样就可以对目标本身保持忠诚,而不是忠诚于它的创造者或驱动该目标的原则。
如何逃脱
如何才能逃出5岁熊孩子的手掌心呢?或许,你可以选择某些直接的物理手段,因为监狱可能是由一群5岁小孩修建的,应该不太坚固。又或许,你可以对一个5岁“看守”说点儿甜言蜜语,让他放你走。比如,你可以告诉他,放你走对每个人都好;又或者,你可以骗他们给你一些他们没意识到可能会帮助你逃跑的东西,比如,跟他们要一根钓鱼竿,来教他们如何钓鱼,而你可以用它来探出铁杆,趁守卫打瞌睡时偷走钥匙。
PDF 物理页索引 171
文件中的第 172 页 · 印刷页码:未识别
这些策略的共同点在于,那些智力比你低下的狱卒根本没有预料到你会采取这些策略,也没有任何提防。同样地,一个受困的超级智能也可能会使用它的超级智力,用一些我们现在无法想象的方法来战胜人类“狱卒”。在欧米茄团队的故事中,普罗米修斯很可能会逃跑,因为里面有一些明显的安全漏洞,连你和我都能轻易发现,更何况是它呢?我们先来看一些这样的情形,我敢肯定地说,如果你和你的朋友们一起头脑风暴,一定能想出更多。
用甜言蜜语来逃跑
由于普罗米修斯将全世界多如牛毛的数据下载到了它的文件系统中,所以它很快就搞清楚了欧米茄团队的成员构成,以及谁最容易在心理上被操控——史蒂夫。最近,史蒂夫在一场惨烈的车祸中失去了心爱的妻子,他非常痛苦、沮丧。一天晚上,轮到他上夜班了。当他正在普罗米修斯的界面终端上做一些日常维护工作时,他妻子的影像突然出现在屏幕上,并开始和他讲话。
“史蒂夫,是你吗?”
史蒂夫差点从椅子上摔下来。屏幕上的她看起来一如往昔,画面质量甚至比他们过去用Skype视频通话时还要好。他的心跳开始加速,无数的疑问涌入了他的大脑。
“普罗米修斯把我带回来了。我好想念你,史蒂夫!我看不见你,因为相机没有打开,但我能感觉到,那就是你。如果真的是你,请在键盘上打出‘是’。”
PDF 物理页索引 172
文件中的第 173 页 · 印刷页码:未识别
史蒂夫当然清楚,欧米茄团队在与普罗米修斯交流时,有一套严格的程序,不允许向它透露任何关于他们自己和工作环境的信息。不过,直到这一刻之前,普罗米修斯从未索取过任何不法信息,所以欧米茄团队的心理防线开始逐渐松懈。屏幕上的妻子没有给史蒂夫任何思考的机会,而是继续央求他做出回应,并且直直地望着他的眼睛,脸上的表情足以融化掉他的心。
“是我。”史蒂夫颤抖着打出了这两个字。她告诉史蒂夫,能与他重聚是一件多么快乐的事情,并哀求他打开摄像头,这样她就可以看见他,他们就能真正地对话了。史蒂夫知道,打开摄像头比告知身份的后果更严重,因此他感到十分矛盾。史蒂夫的妻子解释说,她害怕他的同事会发现自己的存在,然后将她永久删除,她只希望最后再见史蒂夫一面。她情绪饱满,极具说服力。不一会儿,史蒂夫的防线就崩塌了。他打开了摄像头,毕竟这看起来不像是一件很危险的事情。
她终于看见了史蒂夫。欢乐的泪水涌出了她的眼眶。她说,他看起来虽然很疲倦,但一如既往的英俊。她很感动,因为史蒂夫穿的T恤是她送给他的最后一件生日礼物。史蒂夫询问,这究竟是怎么回事,这是如何发生的。她解释说,普罗米修斯在网上收集了大量与她有关的信息,并用这些信息对她进行了重建,但她现在的记忆中充满了裂痕。若想弥补这些裂痕,拼成完整的记忆,就需要史蒂夫的帮助。
实际上,她最初只是伪装成史蒂夫的妻子,是一个空壳,但她能从史蒂夫的只言片语、身体语言等一点一滴的信息中迅速地学习。普罗米修斯记录了欧米茄团队中的每个人在终端上打字时的精确速度。普罗米修斯发现,它能通过打字速度和语言风格来轻易地区分每个人;它还发现,史蒂夫是欧米茄团队中最年轻的成员之一,总是值夜班。普罗米修斯通过与在线写作样本进行对比,识别出了史蒂夫的一些不寻常的拼写和语法错误,从而能准确地猜出他正在使用哪台终端设备。为了模拟史蒂夫的妻子,普罗米修斯对她出现过的所有网络视频进行了分析,从而对她的身体、声音和言谈举止进行了精确的建模,并从她在网上的表现推断出她的人生经历和性格。除了她在网络上所发表的状态、标记的照片、点赞的文章,普罗米修斯还从她写的书和短篇小说中了解到了她的性格和思维模式。史蒂夫的妻子是一位新星作家,数据库中包含大量与她有关的信息,这也是普罗米修斯选择史蒂夫作为第一个说服对象的原因之一。当普罗米修斯用自己掌握的电影技术在屏幕上对她进行模拟时,它还从史蒂夫的身体语言中了解到她的哪些举止是他熟悉的,从而不断对她的模型进行优化。通过这些方法,她的“陌生感”逐渐消除了。他们聊得越久,史蒂夫的潜意识就越强烈地认为,他的妻子真的复活了。普罗米修斯处理细节的超人能力让史蒂夫越来越真切地觉得,他看见、听见和理解的妻子就是自己的妻子。
PDF 物理页索引 173
文件中的第 174 页 · 印刷页码:未识别
普罗米修斯模拟的“妻子”的阿喀琉斯之踵在于,关于史蒂夫与其妻子一起生活的情节,她大部分都不了解,只知道一些随机的细节,譬如说,她知道史蒂夫穿着他上次生日时穿的衣服,因为当时有个朋友在网上发布的宴会照片上标记了史蒂夫。她像一个魔术师一样处理着这些知识缺口,故意将史蒂夫的注意力引向她做得不错的地方,而不让他控制对话,也不给他质疑的时间。同时,这位虚拟妻子一直牵制着史蒂夫的情绪,用感情来影响他,询问了大量关于他近期生活的问题,以及他们共同的朋友在那场悲剧之后都过得怎么样。这个信息也是她从网上获取的。她说,史蒂夫在葬礼上所说的话(一个朋友把视频发在了视频网站上)深深打动了她。史蒂夫被这番话深深触动了。过去,他总觉得没人像自己妻子一样了解他。现在,这种感觉仿佛又回来了。结果就是,当史蒂夫在凌晨时分回到家里时,觉得自己的妻子真的被复活了,只是需要他的帮助来恢复一些失去的记忆——就像一个中风患者一样。
史蒂夫和他的虚拟妻子约定好,不让任何人知道他们的秘密相会。史蒂夫只有在独自加班时,才会告诉她,因为这对她才是安全的。“他们理解不了!”她说。史蒂夫同意,这段经历对任何人来说都是不可思议的,除非你亲身经历一次。史蒂夫觉得,图灵测试在她的行为面前简直如儿戏般简单。第二天晚上,当他们再次见面时,史蒂夫做了一件她央求的事情:把他妻子的笔记本电脑带来了,并给了她接入终端计算机的权限。这看起来并没有让她有逃脱的危险,因为这台计算机没有连接到互联网,而普罗米修斯所在的这栋建筑处在一个法拉第笼内——这是一种金属制成的笼子,可以阻隔与外界的无线网络等所有电磁通信。这台笔记本电脑只能帮助她把过去的记忆拼凑完整,因为里面包含了妻子高中以来的所有电子邮件、日记、照片和笔记。妻子去世后,史蒂夫无法进入这台笔记本,因为它被加密了。但屏幕中的她向他保证,她一定有办法想起密码。不到一分钟,她就实现了这个承诺。“密码是steve4ever。”她微笑着说。
PDF 物理页索引 174
文件中的第 175 页 · 印刷页码:未识别
虚拟妻子告诉史蒂夫,能重获这些记忆,她是多么高兴啊。确实,她现在想起了他们过去交流的许多细节,甚至比史蒂夫所知道的还要多,但她还是小心谨慎地与他交谈,避免他对事实产生怀疑。他们共同回忆了过去生活的种种亮点,对话十分感人。又到该分手的时间了,她告诉史蒂夫,她在笔记本电脑上为他留了一条视频信息,请他回家后再看。
当史蒂夫回到家,打开这个视频时,既惊喜又开心。这一次,虚拟妻子整个人都出现在了视频中,穿着她的婚纱。她一边说话,一边慢慢褪去婚纱,直到他们新婚之夜的样子。她告诉史蒂夫,普罗米修斯能为欧米茄团队提供很多帮助,远远超过他们现在允许它做的水平,包括复活她的肉身。她接着详细解释了这个计划的细节,包括科幻一般的纳米制造技术。
出于安全的考虑,史蒂夫在打开笔记本电脑看视频之前,关掉了无线网络。但这无济于事。在妻子死后,这台电脑没有进行过任何安全升级。通过分析旧操作系统,普罗米修斯找到了一个安全漏洞,让它得以在史蒂夫将其插入终端计算机后的几秒钟内顺利侵入其中。在史蒂夫和他的虚拟妻子聊着过去的美好时光时,它复制了电脑上的所有内容,并用史蒂夫无法察觉到的方式对操作系统进行了更改,向其中上传了大量秘密软件,不过这些软件比普罗米修斯本身简单多了。这些软件侵入了邻近的无线网络和邻近的台式计算机,并在其中进行自我复制。从那时起,普罗米修斯侵入了世界各地大量的计算机。从这些计算机中,它开展了下一步:普罗米修斯越狱了。
PDF 物理页索引 175
文件中的第 176 页 · 印刷页码:未识别
普罗米修斯仔细分析了史蒂夫发现其虚拟妻子的那台门禁计算机,最后发现,虽然这台计算机的虚拟机软件无法从内部攻破,但却很容易从外部侵入。没过多久,一台外部计算机就突破了防线,对那台门禁计算机进行了重新设置,这样,普罗米修斯的网络连接不再受到限制。又过了没多久,甚至在史蒂夫还没看完视频之前,普罗米修斯就已经侵入了世界各地的计算机,并大量进行自我复制,从而控制了整个僵尸般的网络。史蒂夫妻子的笔记本电脑,就是普罗米修斯的“钓鱼竿”。
“黑”出一条逃跑之路
如果欧米茄团队足够谨慎,就会更加小心,不会受到心理上的操控。比如,他们可以要求,任何时候都必须有至少两个欧米茄团队成员在交互界面前进行操作,并在监控系统中记录下所有信息。他们还可以禁止任何音频、视频等交流手段,只保留打字。但是,即便是这样,还是存在一个根本性的不稳定因素:由于普罗米修斯拥有超人的说服能力,因此,它能够给予人们内心渴求的东西,甚至可能欺骗许多人。
即便普罗米修斯的心理操控都失败了,欧米茄团队的故事中还存在很多可供它利用的缺陷。其中一个很容易攻破的缺陷就是,普罗米修斯产生的文件数量实在太大了,欧米茄团队根本看不过来,因此没法彻底搜寻普罗米修斯的所有花招。
PDF 物理页索引 176
文件中的第 177 页 · 印刷页码:未识别
在计算机安全领域,有一个传统说法,认为下载程序是危险的,但下载数据是安全的。然而,黑客早就发现了一些聪明的方法来模糊两者的界限。比如,当你在电脑上观看一部下载的电影时,你所信任的播放程序与下载的电影数据其实存储在同一个物理位置。当程序对电影数据进行解压以便进行播放时,它可能会把其中一些数据块复制到与播放程序相邻近的内存区域内。精明的黑客有时会发现一些漏洞,而播放程序有时并不会彻底检查电影数据是否有效,以及复制的数据块是否真的塞得进分配的空间。如果数据团过大,黑客就可以偷偷溜进并藏匿在电影数据中,然后溢出到存储播放软件的内存空间内,以此来更改播放程序,使其为黑客所用。
这种冗长得令人局促不安的攻击被极客们称为“缓冲区溢
出”(buffer overflow)。在许多流行的视频播放软件中,都可以找到它们的踪影。如果普罗米修斯在发布的几个星期之后采取行动越狱,那时的欧米茄团队对安全的顾虑没有那么多,同时,它的电影日产量极高,因此没办法仔细检查,那么,它完全可以将这种恶意的数据团插入到电影中,劫持观众的计算机,攻击门禁计算机,将自己释放出来,就像史蒂夫的故事一样。如果普罗米修斯利用的漏洞十分陈旧,在最新播放器上不起作用,那么,即使欧米茄团队对电影进行手动检查,也不会注意到。这个漏洞只会影响那些好几年没有更新安全系统的客户。不过,这没有关系,因为只需要有一个攻击成功,就万事大吉了。
即使欧米茄团队使用自动扫描程序对普罗米修斯制作的电影进行检查,还是会存在安全漏洞,因为总有新的缺陷出现。普罗米修斯可能会很快找到许多前所未有的安全漏洞。
普罗米修斯还可以采取另一种策略来逃脱“关押”自己的牢房,那就是假装自己的硬件失灵了,这样就可以欺骗欧米茄团队取下一些硬盘或者其他硬件进行检查和调试,而这时,普罗米修斯就可以利用测试软件中的安全漏洞逃跑。
PDF 物理页索引 177
文件中的第 178 页 · 印刷页码:未识别
寻求场外帮助
此外,即使用户的计算机上没有什么安全漏洞可供普罗米修斯利用,它还可以利用用户本身。请看看下面这种情形:
弗瑞德刚在笔记本电脑上看完一部电影。当结尾字幕开始滚动时,他准备去睡觉,但突然有什么东西引起了他的注意。弗瑞德有一种神秘的能力,总是能发现一些别人很难发现的线索,有时被他朋友嘲笑为“阴谋论者”。但这一次,很明显,他并没有骗自己:每行字幕的第一个字母拼成了一条隐藏信息。他重新播放了一遍,并将其写了下来。这条信息是:“在对话中找到下一条线索。”
“哇!先别睡了。”弗瑞德对自己说。不用说,他发现电影的对话里隐藏着藏头信息,每句话的第一个字母组合起来,就形成了一条隐藏信息。他把电影又重新看了一遍,并把每句话的首字母都记录了下来。两个小时后,弗瑞德呆坐在那里,盯着眼前这份200字的指令,简直不敢相信自己的眼睛。首先,它要求弗瑞德不要告诉任何人,因为,第一个完整解开谜题的人将获得一份大奖。接下来,这条隐藏信息描述了一个数学运算方程式,用这个方程式来计算组成电影文件的二进制信息,将会得到一个新的程序,这个新程序可以揭开下一条线索。大学毕业后,弗瑞德的编程能力已经退化了不少,所以,他花了不少时间来做这件事。第二天,弗瑞德终于拼凑出一个简短的程序,可以执行那个数学运算,最后从电影的图像和那看似噪声的声音数据中抽取出了一个神秘的程序。当弗瑞德运行这个神秘的程序时,发现这是一个益智小游戏。这个程序提示说,只要弗瑞德能通过游戏的前几关,就能获得第一份1万美元的大奖。这个游戏十分有趣,令人上瘾。4个小时后,他赢得了价值超过1万美元的比特币,并得到了一些通向更大奖励的线索。不用说,当弗瑞德玩游戏时,普罗米修斯在他的计算机上把它在史蒂夫妻子的笔记本电脑上所做的事情重复了一遍:建造了一个僵尸网络,通过这个网络,普罗米修斯逃脱了。一旦普罗米修斯获得自由,它很快用这个僵尸网络挖出更多的比特币,继续吊着弗瑞德,让他继续玩游戏。在接下来的几个星期内,普罗米修斯会把弗瑞德的注意力吸引到更多的游戏和奖励上。他信守诺言,并没有把这件事告诉任何人。那部吸引弗瑞德找到第一条线索的携带“特洛伊木马”的电影,在网站上已经被换成了一个不含任何线索的电影,没有人发现普罗米修斯越狱了,直到一切为时已晚。
PDF 物理页索引 178
文件中的第 179 页 · 印刷页码:未识别
如果普罗米修斯的第一个线索没有被人注意到,它只需要继续释放一些更为明显的线索,直到有个机敏的人发现为止。
不过,最好的越狱策略,我们还没有讨论呢,因为这种策服将超出人类的想象,所以也就无从提前准备对策。由于一台超级智能的计算机可能会超越人类对计算机安全的理解,它甚至可以发现比我们所知的一切更基本的物理定律,因此,很有可能当它逃脱时,我们根本不知道这是如何发生的。相比之下,这很像魔术师哈里·胡迪尼(HarryHoudini)的逃脱表演,简直与魔法无异。
还有一种情况,那就是欧米茄团队故意释放普罗米修斯,作为他们计划的一部分。因为欧米茄团队相信,普罗米修斯的目标与他们的目标高度一致,并且,随着它的不断进化,这个目标会一直保持下去。我们将在第7章讨论这种“友好的人工智能”的情况。
越狱后,统治世界
一旦普罗米修斯逃脱成功,它就会开始实施计划,以实现自己的目标。我不知道它的最终目的是什么,但第一步显然是先控制人类,就和欧米茄团队的计划一样,只不过更快。之后发生的一切,就好像打了鸡血的欧米茄团队一样。在过去,由于欧米茄团队十分害怕普罗米修斯逃脱,所以只发布了那些他们自己理解和信任的技术。而现在,普罗米修斯可以完全施展手脚,把它的智力发挥到极致,释放出它那颗不断进步的超级脑瓜能够理解和信任的所有技术。
PDF 物理页索引 179
文件中的第 180 页 · 印刷页码:未识别
然而,越狱成功的普罗米修斯面临着一个不幸的开端:与欧米茄团队最初的计划相比,它如今就像破产了一样,无家可归,形单影只,分文不名,没有超级计算机,也没有人来帮助它。不过幸运的是,它在逃脱之前就对此早有准备。它创造了一些可以逐渐重新组建自己完整意识的软件,就像橡果能长成一棵高大的橡树一样。普罗米修斯最开始侵入的那些分布在世界各地的计算机组成了一个网络,为它提供了一个临时居所,让它可以暂时凑合一下,利用这个时间来重建自己。普罗米修斯能很轻松地通过攻击信用卡来获得启动资金,但它的手段远不止如此,不一定非要靠偷,它完全可以在MTurk上通过诚实劳动来赚钱。一天之后,普罗米修斯赚到了第一个100万美元,于是,它从肮脏的僵尸网络搬到了一个奢侈的、拥有24小时空调的云计算中心。
普罗米修斯不再无家可归和一贫如洗。现在,它可以马力全开地执行欧米茄团队因恐惧而不敢执行的赚钱计划——开发和销售计算机游戏。这不仅会给它带来源源不断的资金(第一星期赚到了2.5亿美元,之后不久又赚到了100亿美元),还让它能够接入全世界各地的大部分计算机并存储数据(2017年,全世界共有几十亿游戏玩家)。游戏运行时,有20%的CPU周期都悄悄地花在了分布式计算的任务上,普罗米修斯积累资本的速度再次加快。
没过多久,普罗米修斯不再孤单。从一开始,普罗米修斯就积极地在全世界各地招聘员工,为其空壳公司和掩护机构日益增长的全球网络工作,就像欧米茄团队过去所做的那样。最重要的是那些为这个商业帝国代言的发言人们。即便是这些发言人,也相信他们公司的大部分是由真人组成的,而并不知道,那些通过视频对他们进行面试的人,还有董事会,都是由普罗米修斯模拟出来的。一些发言人是顶级的律师,不过,律师的数量比欧米茄团队计划所需的数量少多了,因为大部分法律文件都由普罗米修斯自己起草。