人工智能时代：破解人机共存密码（套装共10册）

富有同情心地使用人类被赋予的宇宙资源听起来很美妙，但我们也必须考虑到作恶的创新也在快速发展。心怀恶意的人们正在迅速地想出滥用人工智能的新方法，以致这一章甚至可能在付梓之前就已经过时了。然而，你不应该把这本书看作令人沮丧的读物，而是要把它看作在为时已晚之前采取行动的号召。

监督、劝导和控制

自动化史塔西

史塔西（Stasi）是德意志民主共和国国家安全部更广为人知的名字，它被广泛认为是“有史以来最高效、最具镇压性的情报和秘密警察机构之一”。^[1]这里保存着民主德国绝大多数家庭的档案。它监控电话、阅读信件，并在公寓和酒店安装隐藏的摄像头。它在识别和消除持不同政见者的活动方面非常有效。它的惯用手法是心理恐吓，而不是监禁或处决。然而，这种程度的控制付出了巨大的代价。据估计，当时超过1/4的劳动年龄人口是史塔西的线人。另据估计，史塔西保存的纸质档案有200亿页，^[2]处理大量传入信息流并对此做出反应的任务开始超出所有人类组织的能力。

因此，情报机构在工作中使用人工智能就不足为奇了。多年来，这些机构一直在应用简单形式的人工智能技术，包括语音识别，语音和文本中的关键词、短语识别。人工智能系统越来越能够理解人们所说和所做的内容，无论是在语音、文本中，还是在视频监控中。在以控制为目的而采用这种技术的政权中，每位公民都好像被自己的私人史塔西特工全天候监视着一样。^[3]

在相对自由的国家，普通民众也受到越来越有效的监督。公司搜集和出售关于我们的购物记录、互联网和社交网络使用记录、电器使用记录、电话和短信记录、就业和健康情况的信息。我们的位置可以通过手机和联网的汽车来追踪。摄像机能在街上认出我们的脸。此外，还有更多的数据可以通过智能信息集成系统整合在一起，形成一幅相当完整的画面，描绘出我们每个人在做什么，我们如何生活，我们喜欢谁、不喜欢谁，以及我们会如何投票。^[4]相比之下，史塔西看起来就像业余选手。

控制你的行为

机器一旦具备了监视功能，下一步就是改变你的行为，以适应部署此技术的人。一种相当粗糙的方法是个性化的自动勒索：一个能够理解你在做什么的系统，不管是通过听、读还是看，它都可以很容易地发现你做了不应该做的事情。一旦发现了什么，它就会与你通信，尽可能多地勒索金钱（如果目标是政治控制或间谍活动，它就会胁迫你的行为）。对强化学习算法而言，获取金钱是完美的奖励信号，因此我们可以预期，人工智能系统识别不当行为并从中获利的能力将迅速提高。2015年初，我曾向一位计算机安全专家建议，由强化学习驱动的自动勒索系统可能很快就会成为现实。他笑着说，这正在成为现实。第一个被广泛宣传的勒索机器人是黛利拉（Delilah），它出现于2016年7月。^[5]

改变人们行为的一个更不易察觉的方法是改变人们的信息环境，让人们相信不同的事情，做出不同的决定。当然，几个世纪以来，广告商一直在这样做，这是改变个人购买行为的一种方式。人们把宣传作为战争和政治统治的工具则有着更悠久的历史。

那么现在有何不同？第一，因为人工智能系统可以跟踪个人的在线阅读习惯、偏好和可能的知识状态，所以它们可以定制特定的信息，以此最大限度地影响个人，同时将信息被怀疑的风险降至最低。第二，人工智能系统知道个人是否阅读信息，花多长时间阅读信息，以及他们是否会点开信息中的附加链接。然后，人工智能系统会使用这些信号作为它是否成功对个人产生影响的即时反馈。通过这种方式，它很快就能学会如何在工作中变得更加高效。这就是社交媒体上的内容推荐算法对政治观点产生潜在影响的方式。

最近的另一个变化是，人工智能、计算机图形学和语音合成技术的结合使生成深度模仿（deepfakes）成为可能，深度模仿几乎可以生成任何人说话做事的仿真视频和音频内容。这项技术只需要用户对所需模仿的事件进行简单的口头描述即可，世界上几乎所有人都能使用它。想做一段X参议员在非法场所Z接受可卡因贩子Y贿赂的手机视频？没问题！这种内容会让人对从未发生过的事情深信不疑。^[6]此外，人工智能系统可以生成数百万个虚假身份，即所谓的机器人网络，它们每天可以发布数十亿条评论、推文和建议，从而把人类交流的真实信息淹没。易贝、淘宝和亚马逊等依赖信誉系统^[7]在买卖双方之间建立信任的在线市场，经常与旨在破坏市场的机器人网络发生战争。

最后，如果政府能够实施基于行为的奖惩，那么控制方法就可以是直接的。这种系统将人民视为强化学习算法所使用的材料，训练他们优化国家设定的目标。对于一个政府，尤其是一个有着自上而下的工程思维模式的政府，其诱惑在于：如果每个人都表现良好，有爱国态度，并为国家进步做出贡献，那就更好了。技术使衡量个人行为、态度和贡献成为可能，因此，如果我们建立一个基于奖惩的科技监控系统，那么每个人都会变得更好。

这种思路存在几个问题。首先，它忽略了人民在侵入式监视和强制系统下生活的精神成本，外表的和谐掩盖了内心的痛苦，这很难说是一种理想状态。每一个善举都不再是善举，而变成了使个人得分最大化的行为，并且善举的接收者也将其视为如此。更糟糕的是，自愿行善的概念逐渐成为人们昔日行为的褪色记忆。在这样的制度下，去医院看望生病的朋友就像在红灯前停车一样没有道德意义和情感价值。其次，该方案与人工智能标准模型一样，也是失败模式的牺牲品，因为它假定，所陈述的目标实际上是真实的、潜在的目标。不可避免的是，古德哈特定律（Goodhart’s law）将会取而代之，根据这一定律，个人会根据官方衡量标准优化自己的外部行为，就像大学会优化大学排名系统所使用“客观”衡量标准中的“质量”，而不是提高它们的真实（但无法衡量的）质量。^[8]最后，强加的、统一的行为美德衡量标准忽略了一点，即一个成功的社会可能由各种各样的个人组成，每个人都以自己的方式做出贡献。

精神安全权

文明的伟大成就之一是逐步改善了人身安全。我们中的大多数人在日常生活中不用经常害怕受伤或死亡。1948年，《世界人权宣言》第3条规定：“人人享有生命、自由和人身安全。

我想建议，每个人都应该享有精神安全的权利，即生活在一个基本真实的信息环境中的权利。人类倾向于相信自己的眼睛和耳朵。我们相信自己的家人、朋友、老师和（某些）媒体告诉我们的他们所相信的真相。虽然我们不指望二手车销售员和政客告诉我们真相，但我们很难相信他们有时竟会如此厚颜无耻地撒谎。因此，我们极易受到错误信息技术的影响。

精神安全权似乎没有被庄严地载入《世界人权宣言》。第18条和19条规定了“思想自由”和“主张和发表意见自由”的权利。当然，一个人的思想和观点部分是在他所处的信息环境中所形成的，而信息环境又受制于第19条“通过任何媒介和不论国界寻求、接受和传递消息和思想的自由”。也就是说，世界上任何地方的任何人都有权向你提供虚假信息。这就是困难所在：民主国家，尤其是美国，由于对政府控制言论的恐惧，它们在很大程度上不愿意或在宪法上无法阻止有人提供关于公众关注的事项的虚假信息。民主国家似乎不会认为“没有获得真实信息的途径就没有思想自由”，而是天真地相信真相最终会赢得胜利，但这种信任使我们得不到保护。德国是个例外，它最近通过了《网络强制法》（Network Enforcement Act），要求内容平台删除被禁止的仇恨言论和虚假新闻，但这项法案遭到了相当多的批评，批评者称其“不可行，不民主”。^[9]

因此，就目前而言，我们可以预计，我们的精神安全将会继续受到攻击，而保护我们精神安全的工作则主要由营利性机构和志愿者来承担。这些机构包括像factcheck.org和snopes.com这样的事实核查网站，但是当然，还有些“事实核查”网站也如雨后春笋般出现，它们颠倒黑白，把真相说成谎言，把谎言说成真相。

在欧洲和美国，谷歌和脸书等主要信息公司承受着巨大的压力，被要求“对此有所作为”。它们正在尝试如何标记虚假内容或将它们降级，同时使用人工智能和人力进行筛选，并将用户引导至经过验证的来源，以抵消错误信息的影响。最终，所有这些努力都依赖于循环信誉系统，从某种意义上讲，来源之所以可信，是因为可信的来源报告它们是可信的。如果传播的虚假信息到了一定数量，这些信誉系统可能会失效：真正值得信任的来源可能会变得不可信，反之亦然，就像今天美国有线电视新闻网和福克斯新闻等主要媒体来源出现的情况一样。阿维夫·奥瓦迪亚（Aviv Ovadya）是一位致力于对抗错误信息的技术专家，他将此称为“信息末日——思想市场的灾难性失败”。[10]

维护信誉系统功能的第一种方法是注入尽可能接近事实的来源。如果某些消息来源传播的信息与已知事实相反，那么这些消息来源就会变得不可信。在许多国家，公证人被作为基本事实的来源，用以维护法律和房地产信息的完整性。他们通常是一切交易中公正的第三方，并得到政府或专业协会的许可。（自1373年以来，伦敦市的“尊敬的公证人公司”一直在这么做，这表明讲真话的角色具有一定的稳定性。）如果事实核查人员有了正式的标准、专业资格和许可程序，那么这将有助于保持我们所依赖的信息流的有效性。W3C可靠网络组织（W3C Credible Web group）和可靠联盟（Credibility Coalition）等组织旨在开发评估信息提供者的技术和众包方法，以帮助用户过滤掉不可靠的来源。

保护信誉系统的第二种方法是增加提供虚假信息的成本。因此，一些酒店评级网站只接受通过该网站预订并支付了某个酒店房费的人对该酒店进行评论，而其他评级网站则接受任何人的评论。毫不奇怪，前一种网站的评级偏见要小得多，因为它们为虚假评论增加了成本（为不必要的酒店房间付费）。^[11]监管处罚更具争议性：没有人想要真相部门，德国的《网络强制法》只惩罚内容平台，而不惩罚发布假新闻的人。另外，正如许多国家和美国许多州将未经许可的录音电话定为非法，它们至少也应该对制作真实人物的虚拟录音或录像的行为施加处罚。

最后，还有另外两个对我们有利的事实。首先，几乎没有人希望自己被骗。（这并不是说父母总是会积极地询问那些赞扬孩子聪明有魅力的人是否诚实，只是他们不太可能从一个被认为一有机会就撒谎的人那里寻求这样的认可。）这意味着各种政治派别的人都有动力使用工具来辨别真伪。其次，没有人希望被当成骗子，尤其是新闻媒体。这意味着信息提供者——至少是那些认为信誉很重要的人，有动机加入行业协会，遵守有助于说实话的行为准则。反过来，社交媒体平台可以为用户提供一种选择：只查看那些遵守这些准则、接受第三方事实核查、信誉良好的来源的内容。

致命性自主武器

联 合 国 将 致 命 性 自 主 武 器 系 统 （ Lethal Autonomous WeaponsSystems，LAWS，后简称AWS）定义为“在没有人的情况下，自主寻找目标、定位、杀击敌人”的武器系统。AWS有充分的理由被描述为继火药和核武器之后的“第三次战争革命”。

你可能在媒体上读过关于AWS的文章。通常，一些文章会将它们称为杀手机器人，还会用《终结者》电影里的图片作为配图。这至少在两个方面具有误导性：首先，它表明自主武器是一种威胁，因为它们可能会占领世界并毁灭人类；其次，它表明自主武器是类人的、有意识的和邪恶的。

媒体对这个问题的描述，最终效果是让它看起来像科幻小说。甚至连德国政府也被骗了，它最近发表了一份声明，^[12]声称“拥有学习和发展自我意识的能力，是将个体功能或武器系统定义为自主的不可或缺的属性”。（这和断言“导弹不超过光速就不是导弹”是一样的道理。）事实上，自主武器具有与国际象棋程序相同的自主程度，国际象棋程序的任务是赢棋，但它自主决定走哪步棋以及吃掉敌人的哪些棋子。

AWS不是科幻小说中的东西，它们已经存在。或许最明显的例子就是以色列的“哈洛普”［Harop，图7（左）］，它是一种翼展长10英尺、弹头重50磅的巡飞弹，可以在给定的地理区域内进行长达6个小时的搜索，寻找一切符合给定标准的目标，然后将其摧毁。给定标准可以是“发出类似防空雷达的雷达信号”或“看起来像坦克”。