深度前馈卷积稀疏降噪自动编码器的多级委员会用于对象识别

深度学习和无监督特征学习系统由于具有庞大的架构和每层包含大量特征，因此在基准测试中能取得不错的性能表现。然而，研究者发现在超过某个阈值之后，特征数量的增加对性能的贡献变得非常小。同时，池化层的大小对性能也有重要的影响。基于这些观察，本文提出了一种无监督的方法来提升分类结果，通过构建一个包含多阶段分类器的委员会，并在每一层使用较少数量的特征。网络通过逐层使用L-BFGS优化的去噪自编码器（dA）进行训练，不需要使用反向传播。此外，我们还对去噪自编码器进行了正则化处理，鼓励表示在每个编码层都是稀疏的。我们将该方法应用于STL-10数据集，该数据集包含很少的训练样本以及大量的未标记数据。实验结果表明，相较于现有的单个网络方法，我们的方法展现出了更高的性能。 在引言部分，研究者指出无监督学习方法能够自动构建特征提取器，而不需要人为地设计它们。经典的方法如主成分分析（PCA）和K-means聚类在众多视觉应用中已被常规使用。在对象识别的背景下，当前机器视觉系统的一个关键问题在于无监督学习是否能够被用来学习鲁棒性和不变性的特征。传统上，尺度不变特征变换（SIFT）或加速鲁棒特征（SURF）被理解为一种从像素到斑块描述符的转换方式。然而，它们往往需要大量的手动调整和定制，这就凸显了完全无监督学习方法的优势。 文章的主要内容涵盖了深度前馈卷积稀疏降噪自动编码器的多级委员会在对象识别中的应用。通过深度网络结构，结合了小数量特征的多阶段分类器，并且使用了特殊的优化算法L-BFGS，训练了卷积核。同时，为了使得每个编码层的表示稀疏化，引入了正则化技术。这些方法被应用于STL-10数据集，这是一个具有极少训练样本和大量未标记数据的数据集。实验结果表明，该方法在性能上超过了现有的方法，这是通过单个网络来完成的。 关键词包括多阶段分类器、稀疏降噪自编码器、对象识别和深度学习。关键词提示了本研究的核心技术点，如多阶段分类器的使用表明了一种集成多个学习器来提高决策能力的策略，而稀疏降噪自编码器的使用则强调了模型在特征提取时对于数据内在结构的捕捉。对象识别作为目标任务，展现了无监督学习在计算机视觉领域的应用潜力。深度学习作为技术背景，意味着采用了深度神经网络进行学习和特征提取。 本文的研究亮点在于提出了一种通过组合多级小规模特征分类器来提升对象识别性能的方法。这种新方法不仅在理论上有其创新之处，而且在实践中也展现出了比现有技术更好的性能。该研究的实施对深度学习领域特别是对象识别这一子领域具有重要的意义，预示着未来研究可能的方向，比如如何更高效地利用未标记数据，以及如何在深度网络设计中平衡模型的复杂性和性能。