人工智能时代：破解人机共存密码（套装共10册）

深度学习 第二部分

刁的演进

要事年表

1949年

唐纳德·赫布（Donald Hebb）出版了《行为的组织》（The）一书，提出了有关突触可塑性的赫布定律（Hebb Rules）。

1982年

约翰·霍普菲尔德（John Hopfield）发表了文章《具有突发性集体 计 算 能 力 的 神 经 网 络 和 物 理 系 统 》 （ Neural Networks andPhysical Systems with Emergent Collective ComputationalAbilities），其中介绍了霍普菲尔德网络（Hopfield net）。

1985年

杰弗里·辛顿和我发表了文章《玻尔兹曼机的一种学习算法》（ALearning Algorithm for Boltzmann Machines），这是马文·明斯基和西摩尔·帕普特被广泛接受的观点的反例，后者认为为多层网络开发学习算法是不可能的。

1986年

大卫·鲁姆哈特（David Rumelhart）和杰弗里·辛顿发表了文章《 通 过 误 差 传 播 学 习 内 在 表 征 》 （ Learning InternalRepresentations by Error-Propagation），其中介绍了当前用于深度学习的“反传”（backprop）学习算法。

1988年

理查德·萨顿（Richard Sutton）在《机器学习》杂志上发表了文章《通过时序差分方法学习预测》（Learning to Predict by the

Methods of Temporal Differences）。时序差分学习现在被认为是在所有大脑中进行奖励学习的算法。

1995年

安东尼·贝尔（Anthony Bell）和我发表了文章《一种用于盲分离和盲解卷积的信息最大化方法》（An Information-MaximizationApproach to Blind Separation and Blind Deconvolution），描述了一种用于独立分量分析（Independent Component Analysis，ICA）的无监督算法。

2013年

杰弗里·辛顿在2012年NIPS会议上发表的论文《深度卷积神经网络 下 的 ImageNet 分 类 》 （ ImageNet Classification with DeepConvolutional Neural Networks），将图像中对象分类的错误率降低到了18%。

2017年

深度学习网络程序AlphaGo，击败了围棋世界冠军柯洁。

06

语音识别的突破

在一个拥挤的鸡尾酒会上，当空气中弥漫着其他人谈笑的嘈杂声时，想要听见你面前的人说话是很费劲儿的。你的两只耳朵有助于你把听力集中在正确的方向，而你的记忆可以填补没听清的谈话内容。现在想象一下，房间里正在举行一个有100人参加的鸡尾酒派对，四周还有100个以任意方向排布的麦克风。每个麦克风都会采集所有人的声音，但是每个麦克风针对每个人采集的声音振幅比不同。是否有可能设计出一种算法，将每种声音分离成单独的输出声道？或者更复杂点，如果声音来源是未知的，比如混合了音乐、拍手声、自然声音，甚至是随机的噪声呢？这就是所谓的“盲源分离问题”（见图6–1）。

1986年4月13—16日，在犹他州雪鸟城举办的神经网络计算会议，也就是AIP会议（NIPS大会的前身）上，出现了一个题为《利用神经网络模型进行空间或时间自适应信号处理》（Space or Time AdaptiveSignal Processing by Neural Network Models）的墙报。它的作者詹妮·埃罗（Jeanny Herault）和克里斯蒂安·于滕（ChristianJutten）使用了一种学习算法，对输入给神经网络模型的混合正弦波（均为纯频率）进行了盲分离，并指出了一类新的无监督学习算法。^[1]虽然当时还不知道是否存在一种可以盲分离其他类型信号的通用解决方案，但十年之后，安东尼·贝尔和我发现了一种可以解决一般问题的算法。^[2]