机器翻译及相关技术 机器翻译（MT）是将一种语言转换成另一种语言，语言之间表达一个含义用的词汇量是不同的，之前讲到的RNN、LSTM、GRU【人工智能学习】【十一】循环神经网络进阶里的输出要么是多对多、要么多对一。参考【人工智能学习】【六】循环神经网络里的图。比如翻译“我我是中国人”——>“I am Chinese”，就会把5个字符翻译成3个词，这种前后不等长的问题是机器翻译要解决的问题。下面介绍Encoder-Decoder模型，在NLP中是一个非常基础的模型。 Encoder-Deco

RNN的问题 RNN（Recurrent Neural Network，循环神经网络）主要应用在自然语言处理、机器翻译、情感分析、时序序列问题。这些的功能的共同特点是具有时序性。卷积神经网络是没有记忆性的（我对这句话的理解是神经元之间没有信息传递，各个WWW矩阵是独立计算的，当然不是说整个网络没有记忆，只是记忆是独立的），RNN通过神经元之间的信息传递保留了记忆（就是一个state变量，加变量是为了增加模型的非线性表达能力），但在长序列，即长时间步的问题上，梯度消失会让网络变得不可训练。 Ht