软件学院本科实习&毕业设计（论文）周报-乐远-第16周1

本周，乐远同学在软件学院的实习和毕业设计过程中，主要专注于深度学习的相关算法学习，特别是自编码器（AutoEncoders）和去噪自编码器（Denoising Autoencoders）。自编码器是一种无监督学习的神经网络模型，主要用于数据降维和特征学习。它通过学习将输入数据压缩为低维表示，然后再重构回原始数据，以此来提取输入数据的关键特征。去噪自编码器则在此基础上增加了一个噪声注入环节，使得模型在恢复原始数据时需要先去除噪声，从而增强了模型对数据细节的捕获能力。 乐远同学在深入理解自编码器和去噪自编码器的理论基础后，还学习了如何利用Theano这样的深度学习库来实现这些算法。Theano是一个Python库，用于定义、优化和评估数学表达式，特别适合处理多维数组，是构建深度学习模型的常用工具。 接下来，他探讨了堆叠去噪自编码器（Stacked Denoising Auto-Encoders）。这是一种通过连接多个去噪自编码器层来构建深层网络的方法，可以逐层学习更复杂的特征表示。堆叠去噪自编码器是深度学习中构建深层信念网络（Deep Belief Networks, DBNs）的一种前向步骤，因为它们可以作为预训练阶段，为DBN提供初始权重。 深度信念网络是由受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs）堆叠而成的无监督学习模型。RBMs是一种二元玻尔兹曼机，通过能量函数进行建模，具有隐藏层和可见层，可以学习数据的潜在特征。乐远同学研究了RBMs的训练方法，包括对比散度（Contrastive Divergence）等常见算法，虽然随机梯度下降（Stochastic Gradient Descent, SGD）在计算RBMs的梯度时较为复杂，但他还是成功掌握了这部分知识并能实现相关算法。 此外，他还学习了如何运用深度信念网络进行训练。DBNs在预训练后，通常会通过反向传播进一步微调，以优化整个网络的性能。尽管在手写数字识别任务中，卷积神经网络（Convolutional Neural Networks, CNNs）的表现通常优于自编码器和DBN，但这些深度学习模型在其他领域，如图像处理、自然语言处理和推荐系统等方面，仍然具有广泛的应用价值。 下周，乐远计划继续深化对深度学习算法的学习，这表明他对理论知识的掌握和实践能力的提升有着明确的目标和积极的态度。导师的意见未给出，但根据他的自我小结，可以看出他在本周的工作中取得了显著的进步，对深度学习的理解更为深入，也具备了实际应用的能力。