人工智能与大数据技术导论

以深度摄像头为基础的计算视觉领域已经成为整个高科技行业的投资和创业热点之一。有意思的是，这一领域的许多尖端成果都是由初创公司先推出的，再被巨头收购后发扬光大，例如Intel收购 RealSense 实感摄像头，苹果收购 Kinect的技术供应商 PrimeSense，Oculus 收购了一家主攻高精确度手势识别技术的以色列技术公司PebblesInterfaces。在国内计算视觉方面的创业团队虽然还没有大规模进入投资者的视野，但当中的佼佼者已经开始取得令人瞩目的成绩。

深度摄像头早在20世纪80年代就由IBM提出了相关概念，2005年创建于以色列的PrimeSense公司是该技术民用化的先驱。当时，在消费市场推广深度摄像头还处在概念阶段，此前深度摄像头仅使用在工业领域，为机械臂、工业机器人等提供图形视觉服务。由它提供技术方案的微软Kinect成为深度摄像头在消费领域的开山之作，并带动整个业界对该技术的民用开发。

●声觉传感器

声音传感器的作用相当于一个话筒（麦克风），用来接收声波，显示声音的振动图像，但不能对噪声的强度进行测量。声觉传感器主要用于感受和解释在气体（非接触感受）、液体或固体（接触感受）中的声波。声波传感器的复杂程度可以从简单的声波存在检测到复杂的声波频率分析，直到对连续自然语言中单独语音和词汇的辨别。

从20世纪50年代开始，BELL实验室开发了世界上第一个语音识别Audry系统，可以识别10个英文数字。到20世纪70年代，声音识别技术得到快速发展，动态时间规整（DTW)算法、矢量量化（VO）以及隐马尔科夫模型（HMM）理论等相继被提出，实现了基于DTW技术的语音识别系统。近年来，声音识别技术已经从实验室走向实用，国内很多公司都利用声音识别技术开发出了相应产品，比如科大讯飞、腾讯、百度等，共闯语音技术领域。

●距离传感器

用于智能移动机器人的距离传感器有激光测距仪（兼可测角）、声纳传感器等，近年来发展起来的激光雷达传感器是目前比较主流的一种，可用于机器人导航和回避障碍物。

●触觉传感器

触觉传感器主要是用于机器人中模仿触觉功能的传感器。触觉是人与外界环境直接接触时的重要感觉功能，研制满足要求的触觉传感器是机器人发展中的技术关键之一。随着微电子技术的发展和各种有机材料的出现，已经提出了多种多样的触觉传感器的研制方案，但目前大都属于实验阶段，达到产品化的不多。

●接近觉传感器

接近觉传感器介于触觉传感器和视觉传感器之间，可以测量距离和方位，而且可以融合视

人工智能与大数据技术导论

34

觉和触觉传感器的信息。接近觉传感器可以辅助视觉系统的功能，来判断对象物体的方位、外形，同时识别其表面形状。因此，为准确抓取部件，对机器人接近觉传感器的精度要求是非常高的。这种传感器主要有以下几点作用：

（1）发现前方障碍物，限制机器人的运动范围，以避免障碍物碰撞。

（2）在接触对象物前得到必要信息，比如与物体的相对距离、相对倾角，以便为后续动作做准备。获取物体表面各点间的距离，从而得到有关对象物表面形状的信息。

●滑觉传感器

滑觉传感器主要是用于检测机器人与抓握对象间滑移程度的传感器。为了在抓握物体时确定一个适当的握力值，需要实时检测接触表面的相对滑动，然后判断握力，在不损伤物体的情况下逐渐增加力量，滑觉检测功能是实现机器人柔性抓握的必备条件。通过滑觉传感器可实现识别功能，对被抓物体进行表面粗糙度和硬度的判断。滑觉传感器按被测物体滑动的方向可分为三类：无方向性传感器、单方向性传感器和全方向性传感器。其中，无方向性传感器只能检测是否产生滑动，无法判别方向；单方向性传感器只能检测单一方向的滑移；全方向性传感器可检测多个方向的滑动情况，这种传感器一般制成球形以满足需要。

力觉传感器

力觉传感器是用来检测机器人自身力与外部环境力之间相互作用力的传感器。力觉传感器经常装于机器人关节处，通过检测弹性体变形来间接测量所受力。装于机器人关节处的力觉传感器常以固定的三坐标形式出现，有利于满足控制系统的要求。目前出现的六维力觉传感器可实现全力信息的测量，因其主要安装于腕关节处被称为腕力觉传感器。腕力觉传感器大部分采用应变电测原理，按其弹性体结构形式可分为两种：筒式和十字形腕力觉传感器。其中，筒式腕力觉传感器具有结构简单、弹性梁利用率高、灵敏度高的特点；而十字形腕力觉传感器结构简单、坐标建立容易，但加工精度要求高。

●速度和加速度传感器

速度传感器有测量平移和旋转运动速度两种，但大多数情况下，只限于测量旋转速度。利用位移的导数，特别是光电方法让光照射旋转圆盘，检测出旋转频率和脉冲数目，以求出旋转角度，并利用圆盘制成有缝隙，通过二个光电二极管辨别出角速度（转速），这就是光电脉冲式转速传感器。

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。传感器在加速过程中，通过对质量块所受惯性力的测量，利用牛顿第二定律获得加速度值。根据传感器敏感元件的不同，常见的加速度传感器包括电容式、电感式、应变式、压阻式、压电式等。

2.1.9 传感器小结

机器人要想做到如人类般灵敏，视觉传感器、声觉传感器、距离传感器、触觉传感器、接近觉传感器、力觉传感器、滑觉传感器、速度和加速度传感器这8种传感器对机器人极为重要，尤其是机器人的五大感官传感器是必不可少的，从拟人功能出发，视觉、力觉、触觉最为重要，目前已进入实用阶段，但其他的感官，如听觉、嗅觉、味觉、滑觉等对应的传感器还等待一一攻克。

第2章 AI产业

35

人工智能目前正在为社会的方方面面带来革新。比如，通过结合数据挖掘和深度学习的优势，我们可以利用人工智能来分析各种来源的大量数据，识别各种模式，提供交互式理解和进行智能预测。这种创新发展的一个例子就是将人工智能应用于由传感器生成的数据，尤其是通过智能手机和其他消费者设备所收集的数据。运动传感器数据及其他信息（比如GPS信息）可提供大量不同的数据集。本节最后以常见的运动传感器为例来说明AI和传感器的综合应用。一个常见的应用是通过分析使用的数据来确定用户在每个时间段的活动，无论是坐姿、走路、跑步还是睡眠的情况下。在活动跟踪方面，原始数据通过轴向运动传感器得以收集，例如智能手机、可穿戴设备和其他便携式设备中的加速度计和陀螺仪。这些设备获取三个坐标轴（x、y、z）上的运动数据，以便于连续跟踪和评估活动。

对于人工智能的监督式学习，需要用标记数据来训练“模型”，以便分类引擎可以使用此模型对实际用户行为进行分类。只获取原始传感器数据是不够的。我们观察到，要实现高度准确的分类，需要仔细确定一些特征，即系统需要被告知对于区分各个序列重要的特征或者活动。为了进行活动识别，指示性特征可以包括“滤波信号”，例如身体加速（来自传感器的原始加速度数据），或“导出信号”，例如高速傅里叶变换（FFT）值或标准差计算。举例来说，加州大学欧文分校（UCI）的机器学习数据库创建了一个定义了561个特征的数据集，这个数据集以30名志愿者的6项基本活动（即站立、坐姿、卧姿、行走、下台阶和上台阶）为基础。使用默认的LibSVM内核训练的模型进行活动分类的测试准确度高达91.84%。在完成培训和特征排名后，选择最重要的19项功能足以达到85.38%的活动分类测试准确度。经过对排名进行仔细检查，我们发现最相关的特征是频域变换以及滑动窗口加速度原始数据的平均值、最大值和最小值。有趣的是，这些特征都不能仅仅通过预处理实现，传感器融合对于确保数据的可靠性十分必要，因此对分类尤为实用。

2018年2月，谷歌宣布已经与LogMeIn签订协议，以5000万美元收购LogMeIn旗下的物联网部门Xively。根据公告，谷歌预计到2020年将有200亿台设备联网，而它可以凭借这笔收购布局物联网市场。Xively为设备厂商提供工具，实现设备联网功能，同时将设备与用户手机中的App连接起来。这将帮助GoogleCloud实现其物联网野心：获得海量物联网设备的数据，并进行存储与分析。GoogleCloud通过本次收购将获得领先的物联网技术、工程技术以及Xively的设备管理、通信能力。谷歌在2018年的CES上推出了Smart Display平台，希望让Google Assistant 进入多家厂商的产品中。与谷歌合作的厂商有Altec Lansing、Anker、Bang & Olufsen、Braven、iHome、JBL、Jensen、LG、联想、Klipsch、Knit Audio、Memorex、RIVA Audio 和索尼等。

通过传感器为用户提供真正的个性化体验已成为现实，通过人工智能，系统可以利用由智能手机、可穿戴设备和其他便携设备的传感器所收集的数据为人们提供更多深度功能。未来几年，一系列现在还难以想象的设备和解决方案将会得到更多发展。人工智能和传感器为设计师和用户打开了一个充满激动人心的机会的新世界。

人工智能与大数据技术导论

36

2.2 技术层

技术层是在基础层之上，结合软硬件能力所实现的针对不同细分应用开发的技术。如图2-5所示，技术层主要包括机器学习、计算机视觉、语音及自然语言处理三个方面。主要技术领域包括图像识别、语音识别、自然语言处理和其他深度学习应用等。涉及的领域包括机器视觉、指纹识别、人脸识别、视网膜识别、虹膜识别、掌纹识别、专家系统、自动规划、智能搜索、定理证明、博弈、自动程序设计、智能控制、机器人学习、语言和图像理解等。

目前，技术层企业在计算机视觉、语音识别等领域竞争激烈。技术层涵盖的厂商以科技巨头、传统科研机构及新兴技术创业公司为主。除了综合性科技巨头外，创业企业也依赖自身技术的积累和细分领域的积累快速崛起。在发展路径上，以2B、2C或2B2C为主。一方面，面向企业级用户，为应用层厂商提供技术支持；另一方面，研发相应的软件及硬件产品，直接面对消费者，或者提供车载、家居等产品的人机交互技术，从而满足用户需求。

科技巨头仍然掌握技术、数据、资金优势，生态链相对完整。而传统技术厂商（如语音识别领域的科大讯飞）具有强大的科研背景，掌握一定的研发能力，同时获得政府的支持，与相关政府机构合作获取大量的数据来源，强化人工智能技术。创业公司深耕垂直领域，创始团队多是技术专家，掌握研发技术，通过融资等方式弥补资本不足，逐渐积累资金、人才、技术实力，专攻细分领域，可以快速实现技术的落地，而其技术上的创新也弥补了传统技术提供商及科技巨头的不足，能够在竞争中实现技术的成熟。

2.2.1 机器学习

人工智能、机器学习、深度学习是我们经常听到的三个热词。关于三者的关系，简单来说，机器学习是实现人工智能的一种方法，深度学习是实现机器学习的一种技术（见图2-6）。机器学习使计算机能够自动解析数据、从中学习，然后对真实世界中的事件做出决策和预测；深度学习是利用一系列“深层次”的神经网络模型来解决更复杂问题的技术。

第2章 AI产业

37

人工智能的核心是通过不断地进行机器学习，而让自己变得更加智能。2015年以来，人工智能开始大爆发。一方面是由于巨头整合了AI开源平台和芯片，技术快速发展，GPU的广泛应用，使得并行计算变得更快、更便宜、更有效：另一方面在于云计算、云存储的发展和当下海量数据的爆发，各类图像数据、文本数据、交易数据等为机器学习奠定了基础。机器学习利用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务，使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。

深度学习是机器学习的重要分支，作为新一代的计算模式，深度学习力图通过分层组合多个非线性函数来模拟人类神经系统的工作过程，其技术的突破掀起了人工智能的新一轮发展浪潮。深度学习的人工神经网络算法与传统计算模式不同，本质上是多层次的人工神经网络算法，即模仿人脑的神经网络，从最基本的单元上模拟了人类大脑的运行机制，它能够从输入的大量数据中自发地总结出规律，再举一反三，应用到其他的场景中。因此，它不需要人为地提取所需解决问题的特征或者总结规律来进行编程。

深度学习的典型代表是Google AlphaGo，而 AlphaGo Zero采用纯强化学习的方法进一步扩展了人工智能技术，不需要人类的样例或指导，不提供基本规则以外的任何领域知识，在它自我对弈的过程中，神经网络被调整、更新，以预测下一个落子位置以及对局的最终赢家，并以100：0的战绩击败AlphaGo。深度学习使得机器学习能够实现众多的应用，使所有的机器辅助功能成为可能，拓展了人工智能的领域范围。

深度学习系统一方面需要利用庞大的数据对其进行训练，另一方面系统中存在上万个参数需要调整，需要平台对现有数据及参数进行整合，向开发者开放，实现技术应用价值的最大化，因此在芯片和大数据之外，IT巨头争相开源人工智能平台，各种开源深度学习框架层出不穷。2015年以来，全球人工智能顶尖巨头陆续开源自身最核心的人工智能平台，其中包括Caffe、CNTK、MXNet、Neon、TensorFlow、Theano和Torch等。

人工智能技术正在逐渐发展，距离真正的成熟期还有很长的路要走，而单单依靠有限的企业去推动整个技术的发展力量相对有限，通过开源人工智能平台，能够群策群力，将更多的优秀人才调动到人工智能系统的开发中。开源人工智能平台可以增强云计算业务的吸引力和竞争力，比如用户使用谷歌开源的TensorFlow平台训练和导出自己所需要的人工智能模型，然后把模型导入TensorFlowServing对外提供预测类云服务，实质上是将开源深度学习工具用户直接变为其云计算服务的用户，现阶段包括阿里、亚马逊在内的云计算服务商都将机器学习平台嵌入其中，作为增强其竞争实力和吸引更多用户的方式。同时，开放的开发平台将带来下游应用的蓬勃发展。开源平台的建立在推动技术成熟的同时，对科技巨头来说，既整合了人才，又可以第一时间将开发成果接入自己的产品中，实现研发到商业化的快速过渡，从而在人工智能市场中占据先发优势。

人工智能与大数据技术导论

38

谷歌作为人工智能领域的科技巨头，在软硬件领域都有布局，通过结合开源平台、智能芯片和相关硬件，谷歌建立了完整的人工智能生态。其中，谷歌自主研发的深度学习开源平台TensorFlow可编写并编译执行机器学习算法代码，并将机器学习算法变成符号表达的各类图表。TensorFlow目前已应用于谷歌搜索、谷歌翻译等服务。同时，大量开发者也接入到平台中，成为主流的深度学习框架，在2017年，谷歌进一步推出了TensorFlowLite，支持移动和其他终端设备，谷歌已成为人工智能领域不可或缺的巨头。本书后面将以TensorFlow为基础阐述机器学习技术。

2.2.2 语音识别与自然语言处理

交互模式的变革贯穿了整个IT产业的发展史，语音交互很有可能成为下一代人机交互的主要模式（见表2-2）。

语音识别与自然语音处理是机器能够“听懂”用户语言的主要技术基础，其中语音识别注重对用户语言的感知，目前在中文语音识别上，国内已经达到97%的语音识别准确率，这要归功于深度神经网络的应用、算力的提高以及大数据的积累。语音识别是机器感知用户的基础，在听到用户的指令之后，更为重要的是如何让机器懂得指令的意义，这就需要自然语言处理将用户的语音转化为机器能够反应过来的机器指令，包括自然语言理解、多轮对话理解、机器翻译技术等。对于自然语言处理方面，虽然深度学习能起到的作用还有待观察，但在语义理解和语言生成等领域都有了重要突破。如图2-7所示，很多提供语音技术服务的公司也突破了原有的单纯语音识别或者语义理解的业务框架，开始提供整体的智能语音交互产品。

第2章 AI产业

39

1. 语音识别技术

语音识别技术已趋于成熟。语音识别的目标是将人类语音表达的内容转换为机器可读的输入，用于构建机器的“听觉系统”。语音识别技术经历了长达60年的发展。近年来，机器学习和深度神经网络的引入，使得语音识别的准确率提升到足以在实际场景中应用。早在2016年年初，美国麻省理工学院（MIT）主办的知名科技期刊《麻省理工科技评论》评选出了“2016年十大突破技术”，语音识别位列第三，与其他技术一起“到达一个里程碑式的阶段或即将到达这一阶段”。

深度神经网络声学模型的几个重大发展阶段如下：

●2006年，GeoffreyHinton提出深度置信网络（DBN），促进了深度神经网络的研究。

● 2009年，Geoffrey Hinton将深度神经网络应用于声音的声学建模，当时在TIMIT上获得了很好的结果。

2011年底，微软研究院又把深度神经网络技术应用在了大词汇连续识别任务上，大大降低了语音识别的错误率。从此以后，基于深度神经网络声学模型技术的研究变得异常火热。

微软2016年10月发布的Switchboard语音识别测试中，更是取得了5.9%的词错误率，第一次实现了和人类一样的识别水平，这是一个历史性突破。

语音识别整个过程（见图2-8）包含语音信号预处理、声学特征提取、声学和语言模型建模、解码等多个环节。简单来说，声学模型用来模拟发音的概率分布，语言模型用来模拟词语之间的关联关系，而解码阶段就是利用上述两个模型将声音转化为文本。

深度神经网络声学模型主要应用于声学、语言模型建模、解码等各个主要环节，模型主要包括深度神经网络、长短时记忆网络（LSTM）、双向长短时记忆网络（BLSTM）、深度卷积神经网络（DeepCNN）、Residual/Highway网络等模型，具体特点见表2-3。

人工智能与大数据技术导论

40

总之，语音识别作为一类重要的基础技术，应用十分广泛，并且己有不少产品为人们所熟知，语音识别产业的增长主要靠渗透率的提升和应用的突破，主要的应用包括语音助手、语音输入、语音搜索等，可应用在各类移动APP应用和终端应用等对人机交互有较高要求的领域。对于语音识别技术而言，率先发展起来的服务机器人和语音助手已占据数据积累的领先地位，在家居、出行、运动等多个场景中，语音交互正在爆发，智能音箱、智能车载、智能手表等产品中，通过接入语音交互技术，实现随身陪伴、语音助理的功能。国内现已涌现出一批发展较好的智能语音相关企业，其中技术领先和产品成熟的企业主要有科大讯飞、百度、小米等。语音识别经过几年的技术积累己相对成熟，厂商仍在发展方言识别等更为精准的识别方式。

1. 自然语言处理

简单地说，自然语言处理就是用计算机来处理、理解以及运用人类语言，属于人工智能的一个分支，是计算机科学与语言学的交叉学科。实现人机间自然语言通信意味着要使机器既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等。前者称为自然语言理解，后者称为自然语言生成。

无论是实现自然语言理解，还是自然语言生成，都十分困难。从现有的理论和技术现状来看，通用的、高质量的自然语言处理系统仍然是较长期的努力目标，但是针对一定应用，具有相当自然语言处理能力的实用系统已经出现，有些已商品化，甚至开始产业化。

深度学习、算力和大数据的爆发极大地促进了自然语言处理技术的发展。表2-4中是几种常用的深度神经网络NLP模型。

NLP领域还有很多其他种类的深度学习模型，有时候递归神经网络和卷积神经网络也会用在NLP任务中，但没有RNN这么广泛。总之，在自然语言处理领域，多轮对话理解日益完善，但语义理解仍然具有一定的缺陷，距离机器理解人类，实现自然的人机交互还有一些路要走。

第2章 AI产业

41

2.2.3计算机视觉

视觉是人脑最主要的信息来源，计算机视觉是指通过计算机或图像处理器及相关设备来模拟人类视觉，以让机器获得相关的视觉信息并加以理解，是机器能够“看懂”周围环境的计算基础，最终解决机器代替人眼的问题。

从技术流程来看，计算机视觉是将识别对象（如图像）转换成数字信号进行分析处理的技术。根据识别的种类不同又分为图像识别、人脸识别、文字识别等。通过计算机视觉技术可以对图片、实物或视频中的物体进行特征提取和分析，从而为后续动作提供关键的感知信息。从技术流程来看，视觉识别通常需要几个过程：图像采集、目标提取、目标识别、目标分析，如图2-9所示。

对于特征识别，有生物特征识别技术，识别人类的指纹、虹膜、人脸等；有OCR识别技术，识别图片和文字；有物体识别技术，用于识别图片或视频中的物体。

1. 视频分析

在进行视频识别与分析时，需要使用前端摄像头设备收集和传输数据，同时需要通过大数据训练，具备云计算能力的深度学习图像分析系统来实时进行视频检测和数据分析（见图2-10）。由于机器不疲劳，而且可以全面识别整帧图像信息，通过使用该技术处理海量监控视频，可大大降低交管、公安部门的监控负担，具体的应用场景包括车辆识别、非法停车检测、嫌犯追踪等。

人工智能与大数据技术导论

42

在深度学习出现后，机器视觉的主要识别方式发生重大转变，自学习状态成为视觉识别的主流，即机器从海量数据中自行归纳特征，然后按照该特征规律进行识别，图像识别的精准度也得到极大的提升（目前到了95%以上）。机器不再只是通过特定的编程完成任务，而是通过不断学习来掌握本领，这主要依赖高效的模型算法进行大量数据训练。

近年来，与计算机视觉相关的视频监控和身份识别等行业的市场规模均逐渐扩大，伴随着技术的发展，计算机视觉技术和应用逐渐趋于成熟，被广泛应用到金融、安防、电商等场景中，技术进一步实现场景化落地，计算机视觉也成为目前人工智能领域最为火热和应用最为广泛的领域之一。国内企业，尤其是创业公司深耕技术能力，已具备国际领先的技术水平，这些典型企业包括旷视科技、商汤科技、云升科技等。计算机视觉厂商主要走技术和解决方案提供商的路径，通过研究通用型的技术，深耕图像处理和图像分析，提供软硬件全套服务，开放程序接口供其他厂商使用，比如商汤科技、旷视科技。另外，一部分厂商走技术应用的路径，将技术接入不同的领域和场景中，以技术为基础实现场景落地，为用户提供服务，比如云升科技的公安立体防护系统。

1. 人脸识别

人脸识别是基于人的脸部特征信息进行身份识别的一种识别技术。人脸识别技术被广泛应用于金融、安防、交通、教育等相关领域，主要应用场景包括企业、住宅的安全管理，公安、司法和刑侦的安全系统、自助服务等，刷脸支付、刷脸进站等项目逐渐实现。人脸识别包括1:1的人脸对比和1:N的人脸对比。1:1主要指用户真实的脸部信息与用户提交的身份证信息进行比对，常见于银行等金融机构和公安系统。1:N更常见于刑侦和国家安防领域，能够通过与faceID库的对比，快速找到犯罪分子或失踪人员，1:N识别精度的难度要远远高于1:1人脸识别。厂商也针对1:N的精确度做了技术深耕，百度曾宣布百度大脑的1:N人脸识别监测准确率已达99.7%。目前，人脸关键点检测技术可以精确定位面部的关键区域，还可以做到支持一定程度的遮挡以及多角度人脸，活体检测及红外光识别技术有效解决了照片、手机视频等二维人像的作弊行为，使3D人脸识别的准确率大幅度提升。但双胞胎识别、整容和易容前后的识别依然是人脸识别的难点，因此需要虹膜识别等其他识别技术进行补充。人脸识别技术另一个关键层面在于faceID库的建立，3D人脸识别数据采集相对困难，需采集的数据量十分巨大，对计算机计算存储能力要求较高，faceID库的数据量是人脸识别技术算法训练的基础，数据越多，相应的准确度才会越高。各厂商仍需继续扩充自身的faceID库规模。

在美国，亚马逊最近推出了人脸识别系统Recognition，识别一个人脸只需要几分钟。亚马逊公司已经开始通过云计算模式推出计算机视觉Recognition功能，向美国警方提供了基于机器学习的人脸识别服务。人脸识别技术不再是一个高价的服务了。

总之，随着计算机技术的发展，人类开始能够进行复杂的信息处理，并通过计算机实现不同模式（文、声音、人物、物体等）的自动识别。但当前不存在一种单一模型和单一技术能够解决所有的模式识别问题，而是需要在具体场景中使用多种算法和模型。还有，计算机视觉可以与其他技术结合进行综合应用，比如与医疗结合形成疾病辅助监测，与汽车结合形成自动驾驶。

第2章 AI产业

43