大概是因为卷积神经网络最初设计的目的就是处理图像识别问题的,所以现在大家也经常喜欢把它和图片处理联系在一起,而事实上卷积神经网络可以处理大部分格状的结构化数据。举个例子,图片的像素是二维的格状数据,声音序列在时间上抽取相当于一维的格状数据,而视频数据可以理解为对应视频帧宽度、高度、时间的三维数据,现在这些领域的应用都离不开卷积神经网络。卷积神经网络也成为近十年来应用范围最广、最成功的深度神经网络形式,许多硬件公司如英伟达、英特尔、高通、三星电子都在开发卷积神经网络芯片,以支持智能机、相机、机器人以及自动驾驶汽车中的实时视觉系统。
7.6.2 循环神经网络
循环神经网络(Recurrent Neural Network,RNN)<sup>○一</sup>是深度神经网络的另一种常见应用形式。大多数神经网络假设所有的输入和输出之间是相互独立的,每一次输入网络的数据也是相互孤立的,譬如前面介绍的利用卷积神经网络处理图片识别的过程中,每一个相同颜色的像素、相同大小和形状的线条或者色块、相同部件或者对象所代表的含义是相同的,与时间和顺序无关。但是在另外一些场景中,譬如最典型的使用神经网络进行自然语言处理的应用,不同语种之间的机器翻译、语言理解等,相同词语出现在不同的时间、上下文中时所代表的含义是不一样的,文章后面的内容需要在前文构建的上下文中才能消除歧义,如下面这句话:
294
第三部分 第三波高潮
○一 还有另一种简称为 RNN 的神经网络是指“ Recursive Neural Network”,译为“递归神经网络”,它与循环神经网络有一些相似之处,可以认为循环神经网络是递归神经网络的一种特例。