与人工规则构造特征的方法相比，依靠大量数据来学习特征，更能够刻画数据的丰富的内在信息。它为“人类无法描述清楚问题本身如何解决，计算机就无法解决”这个问题提供了一种可行的解决方案，使得人类设计下棋程序可以不完全依靠运算能力而是在“棋力”上战胜人类，使得人类设计的图片识别程序可以高于人类本身的识别能力，这就是深度学习今天受到广泛关注的原因。
2006 年，辛顿发表的开创深度学习的第二篇文章《一种基于深度信念网络的快速学习算法》，可以算作深度学习的首个具体应用范例。“深度学习”中“深度”这个词就是从这篇文章而来的。说起这个名字，有一个值得一说的段子：
第 7 章 深度学习时代
269