Seq2seq模型、机器翻译学习笔记

Seq2seq模型 当输入和输出都是不定长序列时，可以使⽤编码器—解码器（encoder-decoder） 或者seq2seq模型。这两个模型本质上都⽤到了两个循环神经⽹络，分别叫做编码器和解码器。编码器⽤来分析输⼊序列，解码器⽤来⽣成输出序列。 图中描述了使⽤编码器—解码器将英语句⼦翻译成法语句⼦的⼀种⽅法。在训练数据集中，可以在每个句⼦后附上特殊符号“”（end of sequence）以表⽰序列的终⽌。编码器每个时间步的输⼊依次为英语句⼦中的单词、标点和特殊符号“”。图中使⽤了编码器在最终时间步的隐藏状态作为输⼊句⼦的表征或编码信息。解码器在各个时间步中使⽤输⼊句⼦的编码信息和上个时间