【人工智能学习】【十二】机器翻译及相关技术【人工智能学习】【十二】机器翻译及相关技术
机器翻译及相关技术机器翻译及相关技术
机器翻译（MT）是将一种语言转换成另一种语言，语言之间表达一个含义用的词汇量是不同的，之前讲到的RNN、LSTM、
GRU【人工智能学习】【十一】循环神经网络进阶里的输出要么是多对多、要么多对一。参考【人工智能学习】【六】循环
神经网络里的图。比如翻译“我我是中国人”——>“I am Chinese”，就会把5个字符翻译成3个词，这种前后不等长的问题是机器
翻译要解决的问题。下面介绍Encoder-Decoder模型，在NLP中是一个非常基础的模型。
Encoder-Decoder模型模型
“Any problem in computer science can be solved by anther layer of indirection.”
“既然RNN那种神经网络模型无法解决这类问题，那就加一层。”
这个模型分为三部分，左侧是Encoder，从名字上看是一个编码作用，编码成中间的语义编码c，作为输入输入到右侧的
Decoder中。
这个模型是一个框架思想，Encoder和Decoder可以用CNN、RNN来实现，比如【人工智能学习】【十】卷积神经网络进阶中
的AlexNet、VGG、NiN、GoogLeNet，再比如【人工智能学习】【十一】循环神经网络进阶中的LSTM，GRU，Bi-LSTM，
深度循环神经网络来做。所以Encoder-Decoder模型更像一种思想。
输入的序列XtX_tXt经过Encoder后，最终输出一个隐含层状态，这个状态我们可以在经过一个权重矩阵WWW来进行一个线性
变换，得到语义语义编码ccc（context vector）。
语义编码语义编码
c=f(H1,H2,H3……Ht,)c=f(H_1,H_2,H_3……H_t,)c=f(H1,H2,H3……Ht,)
也可以直接使用
C=f(Ht,)C=f(H_t,)C=f(Ht,)
学习机器学习要有抽象能力，模型产生的数据都看看哪些可以当做信息，可以拿来用一些就用。
Decoder
decoder过程是使用encoder计算出来的隐藏状态HtH_tHt，经过一个WWW矩阵变换出来的序列ccc作为输出，来预测当前的
输出符号yty_tyt，这里的yty_tyt和decoder里隐藏状态yhty_{ht}yht都与ccc和前一个输出有关。
y1=f(C)y_1=f(C)y1=f(C)
y2=f(C,Hy−1,y1)y_2=f(C,H_{y-1},y_1)y2=f(C,Hy−1,y1)
y3=f(C,Hy−1,y2)y_3=f(C,H_{y-1},y_2)y3=f(C,Hy−1,y2)
………………
当遇到终止字符时<EOS>就认为输出结束了。
这里有几种模式，请参考NLP（3）——seq to seq
总结：
处理变长序列问题。
数据降维
代码代码
定义Encoder
class Encoder(nn.Module):
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def forward(self, X, *args):
raise NotImplementedError
定义Decoder
class Decoder(nn.Module):
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
资源评论
