Transformer-variations:在Tensor2Tensor库上运行的“变形金刚”

变压器变化 在Tensor2Tensor库上运行的“变形金刚”。 所有实验均在Tensor2Tensor v1.2.9和Tensorflow 1.4.0上运行。 请参阅 的变压器版本 MOS 参见 添加如下配置： hparams.target_modality =“ symbol：mos” T2T实现 快速变压器 请参阅 添加Encoder-Decoder注意缓存，该缓存尚未在T2T中实现。 就我而言，它比T2T基础变压器模型快约2.5倍。 具有平均注意力网络的变压器 参见 添加Encoder-Decoder注意缓存 就我而言，它比T2T基础变压器模型快2.4倍。 实现T2T实现