辛顿确实曾经表示误差反向传播算法并不是自然界生物大脑中存在的训练机制,也不相信人类大脑是通过生物方式完成求导,通过梯度来调节神经元权重和激活阈值的。从辛顿的成长经历我们就能看出他对模仿人类大脑的工作原理有多么执着。目前已有许多脑科学的研究证实,大脑皮层中普遍存在一种称为“微皮层柱”(Cortical Minicolumn)的柱状结构,如图 7-24 所示,它像一颗胶囊一般把数百个神经元封装在一起,每个微皮层柱里的神经元都记录、处理相同特征的同一种信号。由此看来,人类大脑并不像经典神经网络一样是由神经元直接连接的简单分层结构,而是具有更高的内部复杂性:先由神经元组成“微皮层柱”,再由“微皮层柱”组成“皮层柱”(Cortical Column),由小到大逐步复杂化。
第 7 章 深度学习时代
281