深度学习综述

深度学习是一门研究如何通过多层非线性处理单元对数据进行高层抽象和表示的算法和理论。Schmidhuber教授在2014年编写的这份综述是深度学习领域内的重要文献，详细介绍了神经网络的发展历程以及当前的进展。文章中，Schmidhuber教授不仅概述了深度学习的相关工作，而且从深度神经网络的背景和历史讲起，从浅层学习与深度学习的比较着手，区分了二者在信用分配路径的深度上的不同。 在深度学习的概念中，信用分配路径是指在行动与效果之间可能可学习的因果链。深度学习相对于浅层学习的主要特点是具有更长的信用分配路径，这意味着深度学习模型能够通过多层处理单元构建复杂的特征表示。 文章中还回顾了深度监督学习，包括反向传播算法的历史。反向传播算法是训练深度神经网络的核心算法，它通过计算损失函数对网络参数的梯度来指导网络参数的更新，使得网络能够通过梯度下降的方式最小化损失函数。反向传播算法的历史可以追溯到20世纪60年代和70年代，而其大规模应用则得益于21世纪以来计算能力的显著提升和大量数据集的可用性。 除了深度监督学习，Schmidhuber教授还对无监督学习、强化学习和进化计算进行了综述，并探讨了间接搜索短程序编码深度和大网络的方法。无监督学习专注于发现数据的结构和模式，而不是通过标签来指导学习。强化学习关注如何通过与环境的交互来学习策略，以最大化累积奖励。进化计算则受到生物进化理论的启发，通过模拟自然选择的过程来优化问题的解决方案。 Schmidhuber教授强调了深度学习研究社区的复杂互动和影响网络，研究者们以复杂的方式相互影响，并试图追溯过去半个世纪乃至更长时间中深度学习相关思想的起源。由于许多深度学习的出版物并没有适当承认早期的相关工作，因此除了使用局部搜索策略回溯引用外，还采取了全球搜索策略，并咨询了许多神经网络专家来辅助研究。 Schmidhuber教授还提到，尽管目前的草稿主要是对相关文献的综述（迄今大约有850个条目），但由于自己对过去25年所带领的深度学习研究组工作的熟悉，可能导致了对某些重要工作的遗漏，因此当前的草稿可能只是反映了深度学习研究动态的一个快照。 深度学习综述提供了深度学习领域历史和现状的全面概述，不仅记录了各个子领域的研究成果，还指出了当前存在的问题和挑战，为未来的深度学习研究者提供了宝贵的参考资料。深度学习作为人工智能领域的一个重要分支，已经成为了解决各种实际问题不可或缺的工具，而对深度学习历史的学习则有助于理解这一领域的发展脉络和未来趋势。