样的东西叫作萨摩耶！”
在辛顿构建深度信念网络之前，人们对特征提取器相关的各种技巧已进行过大量研究，这种技术也被称作“自编码器”（Auto Encoder），是无监督神经网络的一种常用形态。
深度信念网络是一种随着网络深度增加，模型性能能够随之得到增强的神经网络应用模式。这令一些人从此开始关注到了神经网络的巨大潜力，当网络深度与应用效果有正相关关系的时候，提升深度的价值就显而易见了。今天，我们不仅可以使用深度信念网络来进行特征识别、数据分类，还可以使用深度信念网络按照最大概率来生成特定数据。下面展示了一个学习了大量英文维基百科文章之后的深度信念网络所生成的自然语言段落<sup>○一</sup>：
这种生成效果在当下（2024 年）GPT 等大语言模型盛行的背景下并没有什么出彩之处，但在当时（2006 年），这种已经接近于人类手工编写的文字效果是相当令人震撼的。事实上，在前 LLM 时代里，许多国内外的内容提供商，如 Meta、谷歌、百度、今日头条等，都使用了这种方式让机器自动编写新闻或者给图片配以文字介绍。谷歌曾发表过一篇名为《神经图片标题生成器》（“Neural Image Caption Generator”）的文章<sup>○二</sup>，介绍在没有人类介入的情况下，计算机如何自动为图片生成标题，这个系统在谷歌中充当了报纸的图片编辑的角色。如果雇一个人专门为照片写标题的话，这项工作是非常枯燥乏味的，难以长时间坚持下来，让机器完成这种任务就非常合适。其中一些生成的例子包括“一群正在玩飞盘游戏的年轻人”“一个正在泥泞路上骑着摩托的人”“一群正穿过干旱草地的大象”。系统可以对飞盘、马路和大象生成自己的概念主体，找到适合的量词、连词、动词，组织成正确的自然语言语法结构并把图片的意思表达出来。
272
第三部分 第三波高潮
○一 案例来源：https://www.cs.toronto.edu/\~tijmen/csc321/slides/lecture\_slides\_lec2.pdf。
○二 资料参考：https://www.cv-foundation.org/openaccess/content\_cvpr\_2015/app/2A\_101.pdf。