deep-significance:为深度神经网络启用简单的统计显着性测试

深度意义：用于深度神经网络的简便更好的意义测试 内容 :exclamation_question_mark: 为什么？ 尽管近十年来深度学习经历了惊人的增长，但统计假设检验并未支持大部分实验证据。 取而代之的是，通常基于单个性能得分得出结论。 这是有问题的：神经网络显示高度非凸的损耗表面（Li等人，2018），其性能取决于发现的特定超参数或诸如Dropout掩码之类的随机因素，使得架构之间的比较更加困难。 基于仅比较几个分数（的平均值），我们常常不能得出一个模型类型或算法优于另一个模型或算法的结论。 这会危及该领域的进步，因为由于偶然的机会而获得的看似成功可能会使从业者误入歧途。 例如，Narang等人最近对自然语言处理的研究。 （2021）发现对变压器提出的许多修改实际上并没有改善性能。 类似的问题也困扰着其他领域，例如增强学习（Henderson等，2018）和计算机视觉（Borji，2017）。