激活函数论文GELUS1

激活函数论文GELUS1 本文主要介绍了一种新的神经网络激活函数Gaussian Error Linear Unit（GELU），该函数能够在计算机视觉、自然语言处理和语音处理任务中取得性能改进。 作者回顾了神经网络激活函数的发展历程。早期的神经元使用二进制阈值单元（Hopfield, 1982; McCulloch & Pitts, 1943），这种硬性二进制决策使得神经元具有“ firing rate”解释，并且可以使用反向传播进行训练。然而，随着网络深度的增加，使用sigmoid激活函数进行训练变得不太有效，而ReLU（Nair & Hinton, 2010）则通过基于输入信号的符号进行硬门控决策，虽然ReLU缺乏统计学基础，但它仍然是一种竞争性的工程解决方案，能实现更快和更好的收敛。后来，修改后的ELU（Clevert et al., 2016）允许ReLU-like非线性输出负值，有时可以提高训练速度。 GELU激活函数的提出是为了解决现有激活函数的缺陷。GELU函数的定义是xΦ(x)，其中Φ(x)是标准高斯累积分布函数。GELU非线性对输入的加权，而不是像ReLU那样基于输入信号的符号进行门控。作者通过实验对比了GELU、ReLU和ELU三个激活函数的性能，结果表明GELU在计算机视觉、自然语言处理和语音处理任务中都取得了性能改进。 此外，作者还讨论了神经网络设计中激活函数的选择对网络性能的影响。他们指出，神经网络设计者在选择激活函数时需要考虑到网络的深度、宽度和训练数据的分布等因素。同时，作者还讨论了随机正则化技术的应用，例如添加噪声到隐藏层或使用 dropout（Srivastava et al., 2014），这可以帮助改进网络的泛化能力。 本文提出了一种新的神经网络激活函数GELU，并对其进行了实验验证。实验结果表明GELU在多个任务中都取得了性能改进，证明了GELU的有效性。 此外，本文还对神经网络激活函数的发展历程进行了回顾，对神经网络设计中激活函数的选择进行了讨论，并讨论了随机正则化技术的应用。这使得本文对读者具有很高的参考价值。