- 灵活性和适应性
深度学习模型一旦训练完成，往往就可以十分精确地处理特定的问题，然而目前的神经网络具有高度分化的专一性，只能在特定的问题上具有良好的表现。如果需要解决其他问题，就必须从头开始训练一个全新的神经网络。DeepMind 公司科学家雷亚·哈德塞尔（Raia Hadsell）曾就目前这种状况给出了一句通俗的总结语：“这个世界上没有哪个神经网络可以同时完成物体识别、音乐识别和玩《星际争霸》游戏这些任务！”
神经网络的这个表现当然是符合“没有免费的午餐定理”（见第 6 章）的，但是并不符合“经济规律”—它非常不划算。所有的算法，甚至包括我们人类解决问题的方法，都受“没有免费的午餐定理”的约束，我们不可能去追求某种能解决一切问题的方法或者机制。可是，人类在解决新问题，尤其是相似问题的时候，也并不是完全从零开始构思的，而是建立在以前的经验基础之上。神经网络在这一方面又是一大弱势，它很难利用之前的已有成果，只要任务稍微改变一点，哪怕是相似的任务，它也需要重新进行训练和评估，这个缺陷是其不可解释性的直接后遗症之一，不可解释，自然就难以总结，难以重复利用。华盛顿大学计算机科学教授、《终极算法：机器学习和人工智能如何重塑世界》（The Master Algorithm ：How the Quest for the Ultimate LearningMachine Will Remake Our World） 一 书 的 作 者 佩 德 罗· 多 明 戈 斯（PedroDomingos，1965—）调侃道：“机器人可以学会拿起瓶子，但如果你想要它拿起一个杯子，就得从头开始训练。”
如何使神经网络具备灵活性和适应性，可以说是这个领域最终要解决的问题之一，这个问题潜藏着神经网络被共享、复用和构建更大规模架构的可能性。要在大尺度上彻底解决这个问题极为困难，可是一旦突破了这个障碍，神经网络将很可能取得今天所有人都难以想象的成就，甚至有可能是弱人工智能走向强人工智能的里程碑。
现在，解决深度神经网络灵活性和适应性问题主要有两个突破方向：一个是深度学习中以利用已经学会的知识为目标的“预训练和微调”（Pre-trainingand Fine-tuning）方法。辛顿在论文中明确指出了基于预训练的基础模型微调参数要比直接使用参数完全随机地初始化模型有效得多。因此，在有逻辑关联性的前置、后置任务间就有可能利用此前的学习成果来更好地完成后置任务。譬如通过预训练好的能识别语言、语法和词频概率的基础语言模型，配合中小学语文和数学知识的微调来辅导学生功课，配合企业财务知识的微调来学会做公司财务会计，等等。另一个突破方向是“迁移学习”（Transfer Learning）方法。广义上预训练和微调也属于迁移学习的范畴，但现在大家讲得更多的还是两个独立神经网络模型之间的狭义迁移学习。譬如已经有了一个使用卷积网络训练的能够区分雪狼和萨摩耶的模型，模型中较浅的卷积层用于分辨像素和较为初级的几何特征，如第一个卷积层中进行边缘检测，第二个卷积层中聚类了相似的几何形状，等等。随着卷积层越来越深，所表达的内容也越来越具体，如到第十个卷积层中就能判断物体到底是狼还是狗了。这里很容易想到这个模型的前几层做轮廓识别的部分是可以被其他任务复用的，日后要训练一个识别鸡还是鸭的模型时，就可以迁移过去。
第 7 章 深度学习时代
309