本文于阿里云，神经机器翻译（NMT）是自动翻译的端到端方法，这个方法具有克服传统短语翻译系统缺点的潜力。神经机器翻译（NMT）是自动翻译的端到端方法，这个方法具有克服传统短语翻译系统缺点的潜力。最近，阿里巴巴集团正在为全球电子商务部署NMT服务。目前，我们正在利用Transformer[1]作为我们NMT系统的主要骨干，因为它对于经典的基于RNN/LSTM模型的高效离线训练具有较高的准确度，因此它成为了系统的核心。尽管Transformer对于离线训练阶段很友好，因为它在时间跨度上打破了依赖性，但对于在线推理来说效率并不高。在我们的生产环境中，已经发现Transformer的初始版本的推理速度
