2017-8-20周报-张章1

在深度学习领域，激活函数的选择对模型的性能有着显著的影响。传统的激活函数，如Sigmoid和Tanh，虽然在早期的神经网络中广泛使用，但它们存在梯度消失的问题，这使得在训练深层神经网络时，反向传播过程中梯度会逐渐变小，导致深层神经元的权重几乎不更新，从而限制了网络的训练效果。相反，ReLU（Rectified Linear Unit）等非饱和激活函数由于其线性的正向传播特性，有效地缓解了这个问题，使得深度学习模型能够更好地训练更深的网络层次。 ReLU激活函数的公式简单直观，它将输入中的负值部分设为0，保留正值部分不变。这种操作引入了稀疏性，即在网络中许多神经元可能变为非活动状态，这被认为有助于提高模型的泛化能力。此外，ReLU相比于Sigmoid和Tanh，其计算更为高效，因为大部分时间只需要简单的阈值比较，这加速了模型的收敛速度。Bengio等人还发现，使用ReLU的深度模型在无预训练的情况下也能取得良好的性能。 双向RNN（BRNN）是一种改进的传统RNN，它解决了RNN只能单向处理序列数据的局限性。BRNN同时考虑了序列的前后信息，通过两个相反方向的隐藏层来捕获序列的上下文信息，这在处理如语言理解等需要双向信息的任务中非常有用。LSTM（长短时记忆网络）则是另一种解决RNN梯度消失问题的有效方法，它通过门控机制来控制信息的流动，能够在长序列中保持有效的梯度传播。 Dropout是一种防止过拟合的技术，由Hinton在2012年提出。在训练过程中，Dropout随机关闭一部分神经元，使得模型不能过度依赖任何特定的特征组合，从而增强了模型的泛化能力。然而，Dropout并非总是有效，特别是在特征稀疏的情况下，可能会导致重要信息的丢失。 在卷积神经网络（CNN）与全连接网络的对比中，CNN在图像识别任务中表现出色。CNN利用了局部连接、权值共享和下采样等特性，大大减少了参数数量，降低了模型复杂性，同时更好地捕捉了图像中像素之间的空间关系。CNN的结构通常包括卷积层、池化层和全连接层，这样的设计允许网络在较低的计算成本下学习复杂的特征表示。 在基于LSTM的模型中，如《基于LSTM的语义关系分类研究》中所描述的，首先进行数据预处理和特征抽取，接着使用Embedding层将不同特征转化为向量表示。BLSTM（双向LSTM）进一步提取特征，结合词级和句子级别的信息。通过多层感知机（MLP）融合特征并送入softmax分类器进行分类。 深度学习模型通过使用ReLU激活函数、双向RNN、LSTM、Dropout以及卷积网络等技术，有效地解决了梯度消失、过拟合以及处理序列和图像数据的挑战，提高了模型的性能和泛化能力。