Neural-Machine-Translation:使用注意机制的神经机器翻译

神经机器翻译 这是使用Encoder-Decoder机制以及Attention机制（（ ）于2016年引入的神经机器翻译的一种实现。Encoder-decoder体系结构通常使用一种编码器，该编码器对将源句子转换成固定长度的向量，解码器根据该向量生成翻译。 本文推测使用固定长度向量是提高此基本编码器-解码器体系结构性能的瓶颈，并建议通过允许模型自动（软）搜索源语句的一部分来扩展此范围。与预测目标词相关，而不必明确地将这些部分形成为一个困难的部分。 编码器： seq2seq网络的编码器是RNN，它为输入句子中的每个单词输出一些值。 对于每个输入字，编码器输出一个向量和一个隐藏状态，并将隐藏状态用于下一个输入字。 解码器： 在最简单的seq2seq解码器中，我们仅使用编码器的最后一个输出。 最后的输出有时称为上下文向量，因为它对整个序列中的上下文进行编码。 该上下文向量用作解码器的初始隐