本文将介绍经典的网络之循环神经网络（RNN, Recurrent Neural Networks），这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。这是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。然而，第一代RNNs网络并没有引起人们着重的注意，这是由于研究人员在利用反向传播和梯度下降算法过程中遭受到了严重的梯度消失问题，阻碍了RNN几十年的发展。最后，于90年代后期出现了重大突破，导致更加准确的