人工智能时代：破解人机共存密码（套装共10册）

[5] Max Tegmark, Life 3.0: Being Human in the Age of ArtificialIntelligence,Alfred A. Knopf, 2017, pp. 126, 128. 公平地说，这样的论调在之前总有详细的讨论，多是有关技术导致美国的不平等加剧和政府没有采取措施应对这个趋势的观察。

[13] 马克思承认可能仍然需要管理机构来完成协调和登记等工作，请参阅BertellOllman, “Marx’s Vision of Communism,”https://www.nyu.edu/projects/ollman/docs/vision\_of\_communism.php，但是我们可以设想这些任务由先进的机器来完成。在古希腊存在严格的二元对立，一边是决定政策的公民，一边是实施这些政策的中立的公务员。但是，公务员只能为政治共同体服务，他们没有选择自己的生活方式的自由——他们为国家服务，从事管理性和官僚性的“中立”工作，执行“政治”公民就公共政策进行协商和制定的决策。参见Paulin Ismard, La DémocratieContre Les Experts: Les esclaves publics en Grèce ancienne, Éditions duSeuil, 2015。当然，让政治制度不公平的是，它的运行依靠人们从事社会需要的工作以及私有财产和公共奴隶的存在。在共产主义社会高级阶段，人们将不需要强制性的机构，不需要先进机器帮助做家务，社会也不需要为了共同体运行良好而做着相对乏味和重复的官僚及行政工作的公务员。但是，一旦机器拥有意识并感受到了痛苦，这个体制将不再具有道德合理性。

[14] 马克思没有预测到机器最终比“充分发展的个人”更聪明的可能性和人类有可能被机器主人奴役的风险。考虑到这个可能性，我们希望国家不复存在可能还有些为时过早，人类有必要拥有强大和能干的亲人类组织来代表大多数人的利益，而不仅仅是为“充分发展的个人”组成的社会转型提供方便。而且要确保人类维持其对机器的支配地位，机器应该为人类服务，而不是反过来要人为机器服务。只有强大的国家能保证我们的支配地位，或者至少尽可能延长这个阶段。从长远来看，人们希望这样的担忧如果不是从现在起往后几百年至少也是几十年之后才会变成实实在在的政治议题。

[19] 贝淡宁，李万全译：《超越自由民主》，上海三联书店，2009年。在中国的新社会信用系统中，孝顺父母与否可能影响人们的信用等级。（显而易见，这样的政策在并没有如此看重孝道的西方社会可能会引起巨大争议。）

[20] 施加限制的观念暗示可能性的封闭性而不是开放性，但是相反的情况或许才是真实的：正如对语言的限制促成了语言的创造性使用（否则人类的声音可能具有随意性，没有了意 义 ） ， 角 色 的 限 制 允 许 我 们 表 达 创 造 性 。 参 见 Henry Rosemont, Jr., AgainstIndividualism: A Confucian Rethinking of the Foundations of Morality,Politics, Family, and Religion, Lexington Books, 2015,pp. 16, 103-104。

[21] 参见罗定生、吴玺宏，《浅谈智能护理机器人的伦理问题》，《科学与社会》2018年第1期。从积极的一面说，消除照顾老人的沉重负担或许有助于缓解当今人们与需要关照的亲人的情感依赖逐渐淡漠的问题，这是有可能的。护理机器人的发明可能改善人们与家人的亲情依赖和改善其他人际关系，因为这些不会受到我们回避不愉快的护理任务的影响。参见Jason Borenstein and Yvette Pearson, “Robot Caregivers: Ethical Issuesacross the Human Lifespan,”Robot Ethics: The Ethical and SocialImplications of Robotics, The MIT Press, 2014, p. 261。但是，护理工作的沉重负担由外貌无趣甚至丑陋的机器人来完成，可降低年迈老人更加依恋机器人而不是成年子女的风险。同样的道理，儒家学者或许更喜欢丑陋的手机或者药片，从而降低小孩子过分依赖技术而不是人的风险。

人类意识与机器意识的演化

刘晓力

导言 摩尔定律和莫拉维克悖论

2015—2016年，一些名家关于人工智能未来发展的预言似乎给社会带来一片恐慌氛围，特别是在2016年3月AlphaGo来了，人们似乎实实在在地感受到，人工智能已经威胁到人类，人类的智慧真的有可能要被机器取代了。目前，人工智能技术的发展看上去确实具有了一种革命性变革的趋势，人们担心机器真的有可能如很多科幻电影描述的那样像人一样有意识，有一天机器真的会自我觉醒，具有自我意识，操纵人类，甚至毁灭人类。

尽管每个人都相信人有意识和自我意识，但是机器究竟有没有自我意识，能不能以及何时会发展出自我意识，是我们知之甚少也知之不确的问题。几乎所有的人工智能科幻电影都会告诉我们，机器终究会有一天产生自我觉知，会自我觉醒，与人类进行生存的智力竞赛。那么，为什么我们现在看到的机器行为却还不如一两岁的小孩子灵活？

人工智能技术领域有个尽人皆知的摩尔定律，即机器硬件性能每18\~24个月会翻一番。但今天流行一种莫拉维克悖论。这是由机器人学家莫拉维克、布鲁克斯和人工智能开创者马文·明斯基提出来的。他们认为，机器依据已有规则做高阶推理、复杂计算、知识竞赛等事情，消耗的计算资源相对少一些，但让机器自如地应付环境以获得较强的感知和行为能力则需要消耗更多的资源。目前人工智能在实现某种弱人工智能的意义上已经超过了人类，特别是在超大型工程计算和工业机器人领域，甚至远远超过了人类智能。对那些需要长时计算的巨大算力，或者单靠人力不能完成的一些繁重和烦琐重复的工作，机器做得更快、更好。然而，让一个机器人像一个小孩子一样去感知外部世界并自由地应对环境却是非常困难的。1\~2岁的小孩子具有非常好的处理环境信息的能力，能很好地平衡自己的身体以躲避危险，有非常灵活的感知行动能力和自适应能力。而且，运用这种能力时，小孩子是不需要什么逻辑推理和精心算计的。这是因为大量的感知行为能力是依赖许多默会知识、人类的情感以及一定的自我意识的。而默会知识和情感是很难算法化的，要机器像人类那样具有自我意识，就是更加难以想象的事情了。

可以说，今天的人工智能还没有摆脱“无心的机器”状态，这里的“心”英文是mind，有时译成“精神”，有时译成“心灵”或“心智”，其内涵非常丰富。实际上，人类心灵包括知觉、认知、行动控制和情绪情感多个层面。另外，人有心灵，是指我们有意识和意识体验，有自我觉知。我们说今天的机器还是“无心的机器”，至少有三方面的理据：第一，机器不能理解符号的意义和物理世界的意义；第二，机器没有意识和意识体验；第三，机器缺少自主性和自我觉知。

无心的机器与人类最大的不同是没有意识和自我意识

单从功能和外部行为来看，今天的机器人能踢足球，能下棋，能演奏乐器，能作诗，能跳广场舞，能打太极拳，有表情，会说话，计算机程序甚至还是新闻写作、知识竞赛和玩难度超高游戏的高手。为什么我们还说机器人没有意识？下面我将逐一来分析“无心的机器”遭遇的几大困难。

无心的机器面对的第一个困难：机器不理解意义，不能主动建立与外部世界的关联并理解关联的意义，特别是机器不能理解人类语言的意义。

人类的内在世界与外部世界具有特定的意义关联，例如，我们内心的所思所想，多半都是有所指向的，指向外部世界的对象，也包括进行反思的内部对象。比如，“我想吃宁波小吃”这个愿望是有所指向的，就是指向“吃宁波小吃”，“吃宁波小吃”就是我心理欲望的内容。再如，“张三相信机器能超过人类”，那么“机器能超过人类”是张三“相信”的内容，是“张三相信”这种心理状态指向的东西。所以，人的心理活动指向的对象是与内部心理或外部世界有关联的，这个有所指向的关联属性在哲学中叫作“意向性”。但是，绝大多数人相信机器目前还不具有意向性。

由于经过几亿年生物演化和几百万年智人进化而来的人脑具有独特的构造，我们的心理状态自然地、自发地与外部世界建立起了一种意义关联。人能主动地不需要外界的动力就积极与环境进行互动，而且人对于这种主动性还有某种自我觉知：我不仅能觉知到我是当下这种头疼感受的体验者，而且是自己行动的自主发动者，如果需要，我会为自己的行动提供理由。这是目前机器所完全缺失的。

人类在使用语言描述世界时，就与外部世界建构起了意义的关联，而且人是这种意义的制造者。

为什么我们能与外部世界建立这样的意义关联？另一种好的解释是，由于进化的结果，人与其他动物的一大区别是，人不仅能借助抽象符号进行思维，而且能用抽象的符号表达思想，在有了印刷术和更复杂的技术之后，人还能将思想印成书籍文字或制作成图像、音像及影像传播出去。事实上，人类在使用语言描述世界时，就与外部世界建构起了意义的关联，而且人是这种意义的制造者。动物当然也与外部世界有联系，借用自然之物为己所用。但是，人类会借助抽象符号，通过微妙的身体语言和人与人之间的话语交流，学习并共享知识，制造和使用人工造物（从简单的工具到复杂的机器）。重要的是，这些抽象符号背后是有语义的，人类成员能达到相互间的意义理解并掌握运用知识。

因此，我们需要进一步讨论以下问题：计算机程序有没有那种内在的自发的与世界的意义关联？计算机程序运行的符号的意义是自主产生的，还是机器设计者和人类程序员赋予的？如果计算机程序承载着人类抽象语言的语法结构，机器是否懂得人类语言所表达的意义？

最近10余年，我们看到，通过深度学习训练，多层人工神经网络可以执行各类特殊任务，但是我们也知道，在进行图像处理、语音处理，包括各种引擎搜索时，其所做的都是完成识别、搜索、过滤、匹配的任务，完全不涉及意义理解，其算法运行过程不过是某种函数的拟合而已。

例如，大家都感受到一代又一代新手机越来越智能了，而且语音输入很快就能转化成多语种的文字传输出去，相当于机器语音识别系统做了即时的语言翻译工作。那么，翻译过程中是不是包含理解语义的过程？谷歌翻译软件到底懂不懂英文与中文及其他语种之间的意义转换？目前看来，我们可以说它不懂。例如，风靡全球的索菲亚看似可以自如地与人进行有表情的交流对话，但她实际上不能真正理解人类语言，她的对答都是预定的某一种选择的结果。因此，自然语言意义理解的问题，仍然是目前人工智能难以解决的一大瓶颈问题，也被称作人工智能的“符号落地难题”。

自然语言意义理解的问题，仍然是目前人工智能难以解决的一大瓶颈问题，也被称作人工智能的“符号落地难题”。

要让机器与外部世界建立意义关联，主动地和包括人类在内的外部世界互动，做出值得人类信赖的行动，还需要机器具备理解物理世界与人类关系的能力。今天的机器，如无人驾驶汽车以及各种在物理环境中活动的机器人，其所作所为可以说与外部世界有所关联，但这不是建立在理解外部世界意义、理解人类意图的基础上，而只是在实现某种特殊的功能，它的行为是需要人类给予解释的。如果让波士顿动力公司的仿生机器大狗上战场，它根本不知道“战场”为何物，何为“敌人”，何为“战场上的危险”。因为“战场”也好，“敌我”也罢，都需要人类建构其语词的意义。如何与外部世界互动是人工智能的另一个瓶颈问题，被称作“物理落地难题”。因此，新近有人提出，图灵测试只在语言层面检验智能是不充分的，应该加入社会物理要素，修正快递机器人或老年护理机器人的物理测试标准。

无心的机器面对的第二个困难：机器没有意识和意识体验。

人是一个生命有机体，这个生命体的独特之处在于他是有意识和意识体验的。例如，人除了有意向性，有信念、愿望、意图，会推理，能规划，还有喜怒哀乐、爱恨情仇，有疼痛的感觉，有沮丧无聊的情绪，有对他人的同情之心。显然机器目前完全没有这种意识和意识体验。比如，我正在一个坐满听众的讲堂做讲座时，看到光线照进来，讲堂里蓝色的椅子反射出不同的明暗，四周墙壁的色彩也非常柔和、具有立体感，再加上听众聚精会神地安静听讲，整个画面给我一种非常和谐的感觉。这种感觉就是一种意识体验。当我看到如此这般的色彩明暗，感受到画面的和谐时，我就产生了一种温馨惬意的感受，这就是我的意识体验的一部分。然而，如果换作另一个人站在这里，也许他与我会有完全不同的感受，这说明个体的意识体验是依赖主体的。一个人的痛觉、喜怒哀乐等情感都是独特的个体经验。一个人依据个人体验推及他人可能也会产生相似的体验，这就是同理之心。如果说今天的机器相当智能，那么，它们有没有类似的意识体验，有没有同理之心，懂不懂什么是和谐的感受？我们当然认为目前它们确实没有。与AlphaGo对弈时，有人说正是由于李世石情绪波动、焦虑输赢才被击败了，而AlphaGo始终镇定自若。那是因为AlphaGo没有意识体验，没有焦虑，没有喜也没有悲，根本不能体验输与赢的不同感受。在电影《我的女友是机器人》中，主人公花了60年时间，终于造出了一台有情感的机器人女友，这就隐喻着使机器有情感是件相当困难的事情。

那么，我们到底怎么才能把这样一种类似人类的意识和意识体验变成计算机程序，让人工智能实现有情感、有意识，可以和人类交流，使得未来人机共生的时代，人类与机器可以更好地相处呢？可以说，尽管现在很多专家在研究机器意识、机器情感，甚至尝试建造有情感、有意识体验的机器人，但是连他们自己也认为，离机器真正具有意识和情感还很遥远。

无心的机器面对的第三个困难：机器没有自主性和自我觉知。

今天的机器是没有自主性的，它们行为的驱动力并非来自内部。例如，在李世石与AlphaGo对弈时，如果拔了电源或中断网络，它的外部驱动力就没有了，也就没有了当下的智能。而人是有自主性的行动者，具有与外部世界积极互动的主观能动性。最重要的是，人有自由意志，在面对选择或需要采取行动时，无论是发自内心的愿望，还是经过各种利益权衡，我如何选择或如何采取行动，都是由我的独立意志决定的。当然，机器也会在各种备选答案中做出某种行为，但那终究是在算法和程序输入设定的选择空间中做出的选择。另外，人的行动大多是有动机和意图的，人会规划未来，想象未曾发生的事件，可以预测当未来情境与现实情况不同的时候应当采取什么行动。最重要的一点是，人是有自我觉知的，知道自己知道的，也知道自己行动的动机，可以为自己的行为提供辩护的理由。那么机器，比如AlphaGo走哪一步棋，它自己会不会为它的走子行为提供理由呢？有人说AlphaGo下的那招臭棋是为了欺骗李世石，它真的会欺骗吗？它有没有一种欺骗他者的觉知，这当然是非常有意思的话题。

当AlphaGo与李世石刚刚结束对战不久，我们就在中国人民大学专门开了一个人工智能与哲学的研讨会，讨论AlphaGo到底有什么智能，随后我在《光明日报》发表了一篇小文，讲AlphaGo实际上是一个具有增强式集群智能的延展认知系统。下面我就从AlphaGo并不仅仅是一个单纯的算法或程序这个角度来分析一下机器的行为与有意识、有觉知的人类的行为究竟有何不同。实际上，AlphaGo是由走子网络、估值网络、快速走子程序和蒙特卡洛树搜索四大算法构成的一个算法系统操纵的。除此之外，人机大战现场的机器配备有1 200个中央处理器和170个图形处理器，还装备了40个在线网络平台。云端大数据提供了历史上人类积累下来的3 000万个棋谱，可以利用大数据搜索调取棋谱进行即时的高速信息处理。同时，为这场赛事还专门铺设了一条光缆。甚至参与设计和实施赛事的人员中还有一批年薪200万～300万美元的深度学习领域的世界顶级专家。

由此可见，这个大系统并不像大众所理解的只是一个下围棋的计算机程序，它实际上是一个人机交互的巨无霸耦合体，一个为处理围棋这个专项任务建构起来的延展认知系统。所谓延展，就是把个体大脑的思维和智力活动，经过与一些外部设备的关联延展到大脑之外，把很多智能任务卸载到机器上做功能处理，比如大数据、云计算、中央处理器、图形处理器，再把当前棋局与人类棋手依赖直觉、依赖经验或依赖知识积累的围棋招数比对，与3 000万个棋谱进行匹配计算。所以，与李世石较量的AlphaGo，实际上是一个巨大的延展认知的智能系统。

那么，这个系统的智能到底是什么？我认为，这是一种包括了人的智能和机器智能的增强式的集群智能，一个人机交互系统的智能。在这个系统里，核心的还是人的意识和人的具有主体性的心智在主宰。当然，一旦弈棋的算法确定了，它的运行过程还是自动的。

人类意识与机器意识是否遵循不同的演化道路

最近十几年，人工智能界开始探索如何开发具有意识甚至有自我意识的机器人。设想，如果机器能自主编程的话，我们会不会说它有自我意识了？

在庆祝伟大的逻辑学家、数学家、人工智能鼻祖之一冯·诺依曼先生诞辰60周年的会议上，逻辑学家哥德尔曾经提出一个问题：机器知不知道自己运行的程序？这是20世纪70年代提出的问题，当时在座的人都认为没有。今天，谷歌正在尝试让机器自我编程，让代码写代码，在他们看来，如果这项自主技术开发成功的话，这将成为一个革命性的机器自我进化的标志，以后也许就不需要计算机博士和那么多软件工程师了。然而，机器显然还没有达到能完全自主编程的程度。

在2015年的国际人工智能联合大会上，艾伦脑科学研究所首席科学家科赫做了题为“什么是生物意识及人工智能的意识”的主题报告，探究人工智能能否像人一样有意识和自我意识。正是那时，我在全国科学哲学学术会议上做机器意识与人的意识的主题报告，国内学界很多人认为这个想法太超前了，但AlphaGo出来以后，大家一下觉得确实大有必要展开这一话题的深入讨论了。

目前一款叫iCub的机器人颇受欢迎，有条件的人工智能实验室都会买这样的机器人用于开发研究。制造它的实验室的负责人声称，他们的下一个目标就是要让iCub拥有理解能力和自我意识。而且，我们知道，每个人类个体都是有人格、有个性的，开发者希望不久就能制造出有机器格的iCub，让每台机器都能有独特的个性。现在的iCub既有表情又有一定程度的对话能力，还有很好的感知能力、抓握物体的能力和运动平衡能力，但是不能说它们具备理解力，更不能说它们具有机器格。那么，什么是非人格的机器格呢？这个问题就与人类自我和机器自我的问题相关了。

自然界为什么会进化出人这样具有自我意识和不同人格的动物，却没有进化出类似人的具有不同个性特征的机器，这确实是一个有趣的话题。人类有意识的心理状态究竟包括哪些部分？首先包括通过我们的感知系统，如眼、耳、鼻、舌、身等获得的知觉；其次包括记忆的系统，如情景记忆、语义记忆，以及一些过程性记忆，例如什么在先，什么在后的记忆；最后包括有认知的各种状态，如音乐的、数学的、文学的和科学的认知，这些认知的方式和渠道是不一样的。此外我们还有情绪情感的部分，比如无聊、高兴、恐惧焦虑等，这些都是非常丰富的有意识的心理状态。人的自我意识则是更高一级的意识状态。