《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单，写下问题吧，再挖几个坑 1.模型复杂度如何改变，三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式？ 梯度消失，梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧 Task4 机器翻译及相关技术 机器翻

有效长度 def SequenceMask(X, X_len,value=0): maxlen = X.size(1) mask = torch.arange(maxlen)[None, :].to(X_len.device) < X_len[:, None] X[~mask]=value return X 在seq2seq模型中，解码器只能隐式地从编码器的最终状态中选择相应的信息。然而，注意力机制可以将这种选择过程显式地建模。 unsqueeze()函数