梯度消失和梯度爆炸 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l) ，输出层 H(L) 的权重参数为 W(L) 。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping） ϕ(x)=x 。给定输入 X ，多层感知机的第 l 层的输出 H(l)=XW(1)W(2)…W(l) 。此时，如果层数 l 较大， H(l) 的计算可能会出现衰减或爆炸。当层数较多时，梯度的计算也容易

Task-3——循环神经网络进阶 6.1 长短期记忆（LSTM） 6.1.1 理论知识理解 理解LSTM网络 6.1.2 LSTM的从零开始实现 以下附上代码： 导入相应的包 import numpy as np import torch from torch import nn, optim import torch.nn.functional as F import sys sys.path.append(..) import d2lzh_pytorch as d2l device =