动手学习深度学习|机器翻译\注意力机制

机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 分词： 字符串—单词组成的列表 建立词典： 单词组成的列表—单词id组成的列表 Encoder-Decoder: 可以应用在对话系统、生成式任务中。 encoder：输入到隐藏状态 decoder：隐藏状态到输出 集束搜索(Beam Search) 维特比算法：选择整体分数最高的句子（搜索空间太大） 二 注意力机制与Seq2Seq模型 解码的目标词语可能只与原输入的部分词语有关，