人工智能时代：破解人机共存密码（套装共10册）

SIFT特征高度显著且相对容易提取，因而用它很容易辨识物体，而且少有误识。SIFT特征的本质是在不同的尺度空间上查找关键点，并计算出关键点的方向。SIFT所查找到的关键点是一些比较突出的点。这些点包括角点、边缘点、暗区的亮点以及亮区的暗点等，它们不易因光照、线性变换和噪声等因素的干扰而发生变化。在人工智能里，这些点对物体的识别和检测非常重要。除此之外，使用SIFT特征描述部分遮蔽物体的检测率也比较高。

下面我们来具体讲解一下生成SIFT特征的过程。这个过程可以分解为四步。

第一步，尺度空间极值检测：搜索所有尺度上的图像位置，识别潜在的对于尺度和旋转不变的兴趣点。

第二步，关键点定位：在每个候选的位置上，通过模型来确定位置和尺度，根据每个候选位置的稳定程度来选择关键点。

第三步，方向确定：根据图像局部基于像素值变化的梯度方向（像素值增加最快的方向），给每个关键点分配方向。

第四步，关键点描述：在每个关键点周围的邻域内，在选定的尺度上计算图像局部的梯度，从而产生特征表示。

图4-10是SIFT特征产生的过程。左边显示了图像上一个关键点周边各像素点上的梯度，右边是根据梯度的方向分布生成的直方图，作为该关键点的SIFT特征向量。

人工智能里常用的图像的特征向量表示方法还有很多。但是，不论是哪一种表示方法，不论它表示的是全局特征还是局部特征，它都有自己的特点和适用范围。通过特征向量表示图像，从而捕捉全部内容相关的信息，是十分具有挑战性的。

图像分割

人工智能感知图像的一个重要应用是图像分割。图像分割就是机器自动从图像中分割出对象区域的过程，这样可以更加容易地获取图像中的内容和特征。图像分割在很多应用场景中发挥了重要作用。例如，在医学影像领域，医院在做肿瘤和其他病理的定位、组织体积的测量、诊断和治疗方案的定制时，都会用到图像分割。图像分割也被广泛应用于卫星图像分析领域，用来定位道路、森林等。此外，我们熟知的一些图像处理软件，比如Photoshop、美图秀秀，它们的“抠图”功能，本质上也是通过图像分割实现的。

图像分割的一种基本方法是K-均值聚类，这种方法在前一节介绍聚类的时候提到过。其具体的过程是这样的：

第一步，从图像上任意选择K个像素作为初始簇中心。

第二步，对于剩下的像素，则需要根据它们与这些簇中心的相似度，将它们分配给与其最相似的簇。

第三步，计算每个所获新簇的中心，也就是簇中所有像素特征的均值。

重复第二步和第三步，直至收敛，也就是聚类结果不再发生变化。

如图4-11所示，右图是左边原图执行K-均值聚类（K=20）后的结果。实际应用中，为了提高速度，人们通常可以先对较大图像进行下采样，也就是均匀地减少像素，然后再进行聚类计算。

在图像分析中，直方图也是十分重要的。图像的直方图能够反映图像像素点灰度值的分布情况。基于直方图的图像分割方法通常会比其他类型的图像更快，因为只需要过一遍所有的像素。在这一过程中，需要先计算所有像素值的直方图，再通过直方图的峰和谷来找图像中的簇。如有必要，可以循环使用直方图来分割图像，找到更小的簇，直到没有新的簇为止。如图4-12所示，右图就是左图的直方图图像分割的最终结果。

图像和视频理解

前面我们介绍了图像特征和图像分割，这些都是理解图像语义的基础，接下来我们就要讲解人工智能是如何识别图像的。前文我们说过人工智能要通过机器学习来产生模型，模拟人脑的深度学习就是机器学习的一种，它允许我们在给定一组训练数据的情况下来训练神经网络模型预测输出。近期的深度学习有了比较大的提升，相对较少地依赖于针对特定数据类型的特征提取，可以实现端到端的处理和学习。端到端处理就是在输入端输入数据后，输出端会直接输出结果，而不用经过复杂的特征提取过程。基于深度学习的人工智能现在已经能够较好地识别图像、视频、文本等非结构化数据，并且识别准确率很高，达到了可以在实际场景中进行应用的水平。尽管如此，理解不同数据类型对应的特征表示，仍能帮助我们更好地理解数据本身的规律和运用AI思维。

在人工智能对于图像的识别这一领域，近几年的趋势是通过深度学习来实现图像识别，例如可以用VGG、Inception和ResNet等深度学习模型来识别。图4-13所展示的就是几个通过这几种模型识别图像内容的例子。例如，最左边一列是使用VGG识别的图像，对于第一张图像，VGG认为有98.14%概率是足球，有1.16%的概率是橄榄球，有0.42%的概率是高尔夫球。由此可见，这些模型的正确率还是很高的。

图像中不可能只有我们所要识别的事物。当我们要识别一张照片中某个特定的人物时，这张照片中往往还有一些其他的东西，所以我们要进行目标检测。目标检测的任务是在图像上找到、定位并识别不确定数量的一类物体——需要强调的是，这里的“不确定数量”很重要，对人工智能来说，是有相当的挑战性的。跟图像识别一样，目标检测常用专门的深度学习框架，比如SSD（Single Shot Detector）、YOLO（You Only Look Once），但检测和识别是不一样的任务。通常，识别的结果是关于一幅图像的类别，而检测要回答的问题难度相对比较高。目标检测的应用场景包括人脸检测、人体检测、车辆检测、商品检测、遥感图像中建筑物检测等。如图4-14所示，目标检测模型能够检测出图像中的建筑物、行人和汽车。

几百年前，人们热衷于读书，甚至达到了洛阳纸贵的地步；十几年前，人们进入读图时代，读图成为风尚；而现在，视频成为人们的宠儿，拿起手机看短视频成为越来越多的人的习惯。打开手机、电视看剧，去电影院看电影，我们每个人都是视频内容的消费者，而短视频的兴起又让我们都可以成为视频内容的创造者。视频在我们的生活中的地位慢慢上升，人工智能对于视频内容理解的意义和重要性也相应地不断提升。

从理论上来讲，视频能够将一系列静态影像以信号的方式加以捕捉、记录、处理、存储、传送与重现。简单来理解，视频其实就是很多幅图像在时间上的组合，构成视频的每一幅图像叫作帧。用于测量显示帧数的指标叫作帧率，其单位是每秒显示帧数（Frames PerSecond），简称FPS。由于人眼特殊的生理结构，当所看画面的帧率高于16的时候，人们就会认为是连贯的，所以虽然我们看到的是一张张静止的图像，但是却有了动起来的体验。常见的视频编码格式有AVI、MPG等，在这些格式的视频形成过程中，其实都将视频的信息做了压缩。压缩后的文件变小，就更有利于处理、存储和传送了。

视频有哪些特征呢？首先，视频是由图像组成的，图像的特征也是视频特征的一部分。除了图像特征之外，视频中物体的运动也给我们的分析带来了新的特征。视频中常用的表示运动的特征叫作光流（optical flow）。光流反映了物体的运动模式，即反映了物体在某视角下由摄像头和背景之间形成的明显移动。通过视频中的图像序列模型，我们可以估计出运动物体在观察成像平面上像素运动的瞬时速度。

具体来说，光流模型可以计算两幅图像之间的变形，它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到相应的图像约束方程。假定不同附加条件的光流问题对应不同的光流模型，常见的模型是Lucas-Kanade模型，如图4-15所示，我们在图片上显示了计算中的光流向量，向量的箭头表示的是像素运动的方向。

当我们检测出光流向量之后，就可以进一步生成HOF特征。HOF的全称是Histograms of Oriented Optical Flow，它可以对光流方向进行统计，得到关于光流方向分布的直方图。这个直方图表示了在不同的二维方向上，各分布了多少光流向量。由于HOF能够表示出视频中物体运动的本质特点，所以经常用于视频中的动作和事件识别。

通过光流向量和HOF特征对视频处理后，我们就可以通过人工智能识别出视频中的物体的运动了。但是在视频中，我们要识别的目标一般是运动的，如果要对这个目标进行识别，就需要对其进行跟踪。目标跟踪是指给出目标在跟踪视频第一帧中的初始状态，比如目标的位置和尺寸，自动估计目标物体在后续帧中的状态。如图4-16所示，视频中跟踪的目标通常会用一个矩形的框来标注。

如果视频中有我们感兴趣的人或物体，可以用目标检测的方法先检测到它，然后再跟踪。这样，我们就不止在一帧中获得了这个人或物体，还能一直跟踪他在哪儿。这在商业场景上大有用处，比如超市想知道消费者的行为轨迹，就可以采用检测和跟踪相结合的方法。商场公共区域都设有摄像头，通过摄像头记录下来的视频，人工智能可以识别出消费者在某家店停留的时间长短和相应的行为，然后估算消费者的消费概率。商家通过人工智能知道了消费者在商场里的完整行为轨迹后，可以做出许多帮助提升体验、促进消费的优化，比如在合理的位置设置休息区，以供消费者休息，这样既可以消除消费者的疲劳，又可以延长其在商场里停留的时间，购买商品的概率也会有所上升。