squad-transformer:无RNN的TensorFlow模型用于SQuAD上的阅读理解

注意是SQuAD的全部需求 概述 有效的阅读理解模型通常依赖于递归神经网络（RNN）来捕获文本中的位置依存关系。 但是，RNN在构造上是顺序的，这限制了在训练和推理过程中可能发生的并行执行量。 在“，作者尝试在神经机器翻译设置中用自我注意力完全替代RNN模块。 它们替代复发性细胞称为“变形金刚”。 本研究的精神是，我们遵循并实施无RNN，基于注意力的模型，该模型在（SQuAD）上具有竞争力。 特别是，我们仅使用卷积，密集层和自我关注，因此我们的模型训练速度比基于RNN的类似模型快约4.5倍。 在不牺牲有效性的情况下就加快了速度：单个模型获得了67.8 / 77.6 EM / F1分数，而10个模型的集合在开发集上的官方评估中获得了70.6 / 79.6 EM / F1分数。 编码器块 我们模型的主要组成部分称为编码器块。 下图显示了一个变压器（左）和一个编码器块（右）。 请注意，编码器模