伯禹AI – task 04 机器翻译、注意力机制与seq2seq模型、Transformer架构

（一）机器翻译及其相关技术 1.  机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理：将数据集清洗、转化为神经网络的输入minbatch 分词：字符串—单词组成的列表 建立字典：单词组成的列表—单词id组成的列表 Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 2.  Sequence 2 Sequence模型   Beam Search 一个贪心算法 维特比算法：选择整体分数最高的句子（