人工智能时代：破解人机共存密码（套装共10册）

人工智能也处于一种共同进化的过程中。在万千变化的神经网络里，这种过程得到惟妙惟肖的展现。以下介绍两种新的神经网络的思想。

对抗生成网络

有监督的深度学习就是输入的数据有语义标签，输出的结果由人类标识对错。但很多科学家认为无监督学习才是未来的发展方向，让机器自己从原始数据中发现规律。已经有很多不同的方法，强化学习是其中一个方向，对抗生成网络则是已经在运用的事物。

对抗生成网络的发明者Ian Goodfellow（伊恩·古德费洛）是Yoshua Bengio（伊舒·本西奥）的学生，现在马斯克建立的OpenAI实验室工作。著名的深度学习专家Yann Le Cun对对抗生成网络大加赞赏。这种网络非常能体现“进化”的纠缠演进特性。

对抗生成网络的发明，首先是因为Christian Szegedy（克里斯坦·赛格德）等人在ICLR2014（国际学习表征会议）发表的论文中提出了深度学习对抗样本（Adversarial Examples）的概念，即在输入的数据集中故意添加细微的干扰，形成输入样本，导致深度神经网络得出错误的输出。这个错误在人类看来一目了然，但是机器却一再跌入_陷阱。^[4]

Ian Goodfellow ， Jonathon Shlens （ 乔 纳 森 · 舍 琳 ） 和Christian Szegedy 在 论 文 《 Explaining and HarnessingAdversarial Examples》中给出了一个典型：

在第一张图中，原始图像是熊猫，神经网络以57.7%的置信度判断为“熊猫”。

然后人类给图片加入微小的干扰，也就是第二张图所示的噪点。使用32位浮点值来执行修改，不会影响图像的8位表示。

最终得到第三张图。人眼完全看不出差别，但此时神经网络却诡异地以99.3%的置信度判断此图为长臂猿。

因为对抗性样本导致识别错误，有人将其当作深度学习的深度缺陷（Deep Learning’s Deep Flaws）。可是加州大学圣地亚哥分校的Zachary Chase Lipton（扎卡里·柴斯·立顿）在KDNuggets（美国一个大数据媒体）上发表文章，标题针锋相对，叫作（DeepLearning’s Deep Flaws）’s Deep Flaws，即《〈深度学习的深度缺陷〉一文的深度缺陷》^[5]。该文认为深度学习对于对抗性样本的脆弱性并不是深度学习所独有的，在很多机器学习模型中普遍存在，进一步研究抵抗对抗性样本的算法将有利于整个机器学习领域的进步。

科学家抓住了“进化”的脆弱性本质，将错就错，把对抗看作一种训练办法，变阻碍为动力，艰难提升。大自然的进化本身就是高度脆弱的，无数生物“程序”被大自然淘汰，因为它们“出错”了。错误，就是进化的终极工具。而智慧就是在这个方生方死的过程中艰难升起。

对抗生成网络即人类对神经网络进行了特别设计，让其主动产生干扰数据来训练网络的能力。简单地说，对抗生成网络由两部分组成 ， 一 个 是 生 成 器 （ generator ） ， 另 一 个 是 鉴 定 器（discriminator）。生成器好比是一个卖假货的奸商，但是制造的山寨品高度仿真，而鉴定器好比高超的买家，需要鉴别货品真假。奸商的职责是想方设法欺骗买家（生成对抗性样本），后者则通过这种历练不断吸取教训，减少受骗概率。双方都在不断努力以达到目的，同时在彼此的“监督”下提升。看上去仿佛军事演习中的蓝军与红军展开激烈对抗，由此强化双方战斗能力，但没有硝烟。

这又是一个“共同进化”的例子，是进化的深刻哲学，不是战争，而是纠缠，是“在持久的摇摇欲坠中保持平衡”。

就对抗生成网络来说，我们要的是这个成熟的买家，还是那个高超的奸商呢？答案是都需要。二者是共同进化的必然要素。

奸商模型有什么用处？在很多情况下，我们会面临缺乏数据的情况，但可以通过生成模型来补足。制造样本，产生类似监督学习的效果，但实际上是非监督学习。

来自英国谢菲尔德大学的Wei Li（李伟）、Roderich Groß（罗德里赫·格鲁）和美国哈佛大学的Melvin Gauci（梅尔文·高斯）一起，基于对抗生成网络，开发了一种新的图灵学习方法，用于研究群体行为。^[6]比如一群鱼中混进一些模仿鱼运动的假鱼，如何判断模仿行为的逼真度呢？使用传统的特征归纳法来区分是很难的，同一群鱼每次表现出的运动特征也不一定相似。这个团队决定让机器通过互相模仿自动建立群体模型，让机器自主推断自然物与模仿物的行为。该深度学习同时优化两种群体计算机程序，一个代表模型的行为，另一个代表分类器。该模型可以模仿监督学习下的行为，也可以辨别系统和其他模型之间的行为。

具体来说，他们建立了三种机器人群体，第一种是被模仿对象，按照事先指定的规则进行复杂运动；第二种是模仿者，混入到第一组机器人中，尽力学习和模仿第一组的行为，尽力欺骗鉴定者；第三种是鉴定者，它的任务就是区分那些运动中的群体里谁是模仿者，谁是被模仿者。随着鉴定者能力的提高，模仿者的模仿行为也会越来越逼近被模仿者。于是，我们便可以利用训练好的模仿者搭建一个逼真的多主体模型，来对被模仿者群体进行模拟。这种模型就可以用于研究集体运动，比如可以根据摄像头记录的节假日热门景点的人群运动来训练出一个模型，强化对人群运动趋势的预测，对可能发生的拥堵踩踏事故发出预警。

机器的进化迭代过程比大自然快亿万倍。在这种对抗生成中，机器习得的逻辑已经远远超出人类的理解，可能成为一种“黑箱”。是追求“黑箱”，还是追求“白箱”，如何避免“黑箱”带来的不可知危险，这是对人类的一个挑战。

对偶网络

对偶网络仿佛对抗网络的一种镜像。

目前多数神经网络的训练依赖有标签的数据，即监督学习。而给数据标注标签是一项繁重的工作。据报道，谷歌的开源图片数据库Google Open Image Datasets中含有900万张图片，YouTube-8M中包含了800万段被标记的视频，而ImageNet作为最早的图片数据集，目前已有超过1400万张被分类的图片。这些精心标记的数据，大部分是由亚马逊劳务外包平台Amazon Mechanical Turk上5万名员工花费两年时间完成的。^[7]

如何让机器在缺少标注数据的条件下工作，是未来人工智能的发展方向。2016年，微软亚洲研究院的秦涛博士等人在向NIPS（神经信息处理系统大会）2016提交的论文中提出了一种新的机器学习范式——对偶学习。大致思想是：

很多人工智能的应用涉及两个互为对偶的任务，例如从中文到英文的翻译和从英文到中文的翻译就互为对偶、语音处理中语音识别和语音合成互为对偶、图像理解中基于图像生成文本和基于文本生成图像互为对偶、问答系统中回答问题和生成问题互为对偶、在搜索引擎中给检索词查找相关的网页和给网页生成关键词互为对偶。这些互为对偶的人工智能任务可以形成一个闭环，使在从没有标注的数据中进行学习成为可能。对偶学习最关键的一点在于，给定一个原始任务模型，其对偶任务的模型可以给其提供反馈；同样的，给定一个对偶任务的模型，其原始任务的模型也可以给该对偶任务的模型提供反馈。从而这两个互为对偶的任务可以相互提供反馈，相互学习、相互提_高。[8]

对偶网络利用这样一种精妙策略大大减少了对标注数据的依赖，我们从中可以再次洞见某种进化的哲学：进化是一种自我应答和自我循环的过程，从A到B，从B到A，互为镜像，但镜子并不清晰，各自掌握一半的秘密，没有仲裁，却可以在彼此猜测、参照中摇摇晃晃地前行。

深度学习的新边疆

以上两种神经网络方法只是不断涌现的新方法的典型代表。在深度神经网络方法之外，科学家也在积极探索其他路径。南京大学著名的机器学习专家周志华教授在2017年2月28日发布的一篇论文中，就与联合作者冯霁一起提出了一种创造性的算法，可以形象地称为“深度森林”（gcForest）算法。顾名思义，相对于深度学习强调神经网络的层数，这种算法重新利用了传统的“决策树”算法，但是强调“树”的层次。多层决策树的联合就形成了“森林”，通过精巧的算法设置，在数据规模和计算资源都比较小的情况下，在图像、声音、情感识别等应用上，都取得了不输于深度神经网络的成绩。这种新方法对参数设置不敏感，而且因为基于逻辑清晰的“树”方法，可能比深度神经网络更容易进行理论分析，从而避免人类难以理解机器具体运作逻辑上的“黑箱”问题。

表9-1 在人脸识别上的精确比较

据智库“新智元”向周志华教授了解，“深度森林”的方法论意义在于探索深度神经网络以外的算法可能。深度神经网络的有效运作，需要巨大的数据和计算能力，深度森林有可能提供新的选择。当然，深度森林依然向深度神经网络借鉴了关键思想，比如对特征的提取和构建模型的能力。所以，它依然是深度学习的一个新颖分支。

中国科学家在人工智能研究方面有很多世界领先的成果。我们认为，自信心与开放心态将是促进科学进步的重要动力。

如今，各大研究人工智能的科技公司都提倡共享算法代码。其中以谷歌的Tensorflow深度学习开源平台影响最广。但是很多深度学习科学家认为，从生态的角度考虑，应该有多个深度学习代码平台平行竞争才会有利于繁荣发展和平衡，不可垄为一尊。除了Caffe和Mxnet等深度学习开源平台外，百度在2016年9月开放了全新的PaddlePaddle深度学习开源平台，采用新架构，对序列输入、稀疏输入和大规模数据的模型训练有着良好的支持，同时支持GPU运算，支持数据并行和模型并行，仅需少量代码就能训练深度学习模型，大大降低了用户使用深度学习技术的成本。多元的共享平台支持机器学习工作者从不同角度训练和创造种种应用，仿佛生物多样性一样有助于人工智能的提升。

归根结底，即便在遥远的未来，人工智能真的能够强大到统治世界，那在这之前，所有的挑战也都是人类自身智慧的挑战。人工智能科学家身上闪烁的智慧之光，为后来者照亮了方向。即使非人工智能从业者，想必也能从中得到很多策略启发。

2017年初，AlphaGo的变身Master横扫中韩围棋顶级高手，一时间人们分化为悲观派、降临派、冷静派、脑洞派……我们希望有更多人是默默学习派。

[1] 摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18\~24个月便会增加一倍，性能也将提升一倍。

http://tech.china.com/news/company/domestic/11066129/20141213/19102201.html.

[3] RDMA通过网络把数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和文本交换操作，因而能解放内存带宽和CPU周期，改进应用系统性能。

[4] https://arxiv.org/pdf/1412.6572v3.pdf .

[5] http://www.kdnuggets.com/2015/01/deep-learning-flaws-universal machinelearning.html.

[6] https://arxiv.org/pdf/1603.04904v2.pdf.

[7] 雷锋网：www.leiphone.com/news/201612/1KhB2H10bMc2a8hu.html.

[8] http://www.msra.cn/zh-cn/news/blogs/2016/12/dual-learning 20161207.aspx.