一.循环神经网络
循环神经网络基于当前的输入与过去的输入序列，预测序列的下一个字符。它引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。
1.隐状态的引入
2.one-hot向量
3.初始化模型参数：隐藏层参数，输出层参数。
4.定义模型后裁剪梯度，定义预测函数，定义模型训练函数，使用困惑度评价模型。
二.循环神经网络进阶
GRU
⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系。
