要处理大量数据，机器就必须拥有处理庞大数据的能力。为了缩短训练时间、提高效率，现在训练深度神经网络时通常会使用多卡高性能 GPU 来配合工作，甚至使用超算中心来完成。这些设备除了价值不菲外还会带来很高的能耗，这种计算能力的需求在一定程度上限制了深度学习的应用范围，现在连智能手机、无人机和可穿戴设备等都开始需要小型的高效神经网络处理单元，更加需要平衡效率、能耗、成本及可用性的关系。
深度学习对数据量和运算能力的依赖是显而易见的，这一点已经被人们普遍接受。可是，我们无法忽视的事实是，一贯以处理海量数据、高效高速计算这些特点为傲的电子计算机在这个领域其实是极不适应、效率非常低下的。神经网络确实是在模仿人脑从经验中总结、学习和提取信息，但人类的认知过程所需要的数据量比深度学习要少好多个数量级。仅需要课堂上老师一两分钟的讲解和模仿，人类就可以辨认字母或者单词的不同印刷和手写字体；人类要分辨雪狼和萨摩耶，只要看过几张它们的图片就可以轻易做到，根本不需要把 YouTube 上数以千万计的影像图片翻个遍。我们人类大脑的神经元数量十分庞大，但是细胞之间依靠神经递质来传导信号，这是一种化学信号传递，比起计算机的电信号传递，速度上要慢好几个数量级<sup>○一</sup>，但即使在这样大的速度差距下，目前人脑的认知能力也可以轻易碾压计算机。此外，能效上的差距也同样巨大，如果把人类大脑的活动转换成电能的话，仅相当于一只 20 瓦灯泡的功率，而谷歌大脑在运作时，甚至需要配备专用的电厂来支撑。这些事实似乎从侧面向我们诉说着深度学习虽然由模拟人脑而来，但是远未找到人脑生物结构中的精髓，还处于非常初级的阶段。
- 理论基础
人们模仿鸟儿飞行创造出飞机，飞行方式与鸟类扇动翅膀获得上升力并不相同，飞机之所以能飞得比所有鸟类更高更快，关键是因为人类已经掌握了空气动力学的理论。计算机向人脑学习智能，要有跨越式的突破，关键点大概也不会在于模仿得多么接近人脑结构，而是最终能够发现其中的理论基础。目前，神经网络效率不高就是没有理论基础去指导优化的一种外在表象。但是寻找到产生智能的理论谈何容易，针对这个问题，科学界已经经过了大半个世纪的努力，目前还是迷雾重重。
306
第三部分 第三波高潮
○一 神经元内部的神经信号也是一种电信号，但是细胞体之间是靠着释放化学物质令其他细胞的神经元产生刺激来传递神经信息的，这个过程的速度只有每秒数米。