早在 2011 年，辛顿在发表的一篇论文<sup>○一</sup>里就模仿大脑微皮层柱的结构，提出了一种称为“胶囊”（Capsule）的新神经网络结构，并给出了用这种结构做自动编码器和简单图像识别的例子。只是可能辛顿自己也没有预料到，就在第二年（2012 年）深度神经网络会忽然间受到从未有过的关注，尤其是深度卷积网络在图像识别领域忽然爆发，所以这篇关于胶囊结构的论文并没有受到特别大的关注，连辛顿自己也暂时放下了对这个方向的研究，专注在深度卷积网络、循环神经网络这些还是以分层堆叠结构为主的神经网络模型上。
到了 2017 年，辛顿认为传统的神经网络分层结构虽然取得了很大成功，但已经遇到了瓶颈，因此他重新开始关注胶囊结构，希望从中寻找突破，一举解决之前深度学习里遗留的诸多问题。辛顿想要表达的其实是如果胶囊结构确实能够解决这些问题，那么他就有勇气完全抛弃之前的体系结构，完全抛弃之前的训练方法，一切推倒从来，重新开始。辛顿关于胶囊结构的论文《胶囊结构之间的动态路由》（“ Dynamic Routing between Capsules”）已经被“2017 年度神经信息处理系统进展大会”（Neural Information Processing Systems，NIPS2017）所接受，据说其在 MNIST 训练集上非常成功，识别率达到了历史新高，并同时解决了卷积神经网络难以识别重叠图像等问题。到了笔者落笔的2024 年，胶囊结构仍然不是神经网络的主流结构，从对胶囊结构目前只有一些论文摘要信息和辛顿的演讲记录就可以窥见一斑。胶囊结构能否被学术界接受，辛顿能否找到训练胶囊结构的新算法，这些都还存有很大疑问，这也正是科研的艰辛之处。
无论结果如何，辛顿在古稀之年仍然在尝试新的方法，这本身就非常值得敬佩。“先驱”“教父”这些头衔是世人对辛顿在深度学习领域的坚持以及那些开创性工作的认可，如果胶囊结构这项工作成功推翻了之前神经网络的结构和训练方法，那完全是他本人坚持自己的信仰和探索的结果，一个真正的大师并没有被以前的成就所束缚；如果辛顿晚年试图突破深度学习，如同爱因斯坦晚年试图统一电磁力和引力一样，是注定无法成功的，那我相信辛顿也依然愿意坚持下去，毕竟他在神经网络这个领域已经坚守了超过 40 年了。
282
第三部分 第三波高潮
○一 论文地址：http://www.cs.toronto.edu/\~fritz/absps/transauto6.pdf。