pytorchTask03打卡 文章目录pytorchTask03打卡1.过拟合、欠拟合以及解决方案1.1训练误差和泛化误差1.2验证数据集与K-fold验证1.3过拟合和欠拟合1.4导致过拟合和欠拟合的关键因素2.L2正则化3.drop out4.循环神经网络进阶4.1 RNN简介4.1.1RNN的起因4.1.2为什么需要RNN4.1.3RNN都能做什么4.1.4 LSTM4.1.5 GRU4.2 循环网络的向后传播（BPTT）4.3 词嵌入（word embedding）4.4 其他重要概念

深度学习基础3 文章目录深度学习基础3一、过拟合欠拟合1.概念2.解决过拟合欠拟合的方法（1）权重缩减（2）丢弃法二、梯度消失与梯度爆炸1.消失与爆炸2.随机初始化3.影响模型效果的其他因素三、循环神经网络进阶1.门控循环神经网络/门控循环单元(GRU)2.LSTM:长短期记忆3.深度循环神经网络(Deep RNN)4.双向循环神经网络(BRNN)   一、过拟合欠拟合 1.概念 欠拟合：训练误差（训练集的损失函数的值）较大。 过拟合：训练误差远远小于泛化误差（任意测试样本误差的期望）。 验证集

过拟合与欠拟合 专业名词解释： 泛化误差（generalization error）：指模型在任意一个测试数据样本上表现出来的误差的期望，我们通常用测试集上的误差来近似看待. 验证集（validation set）：预留一部分训练数据集出来用于验证和看模型的表现结果，并用来进行模型选择 K折交叉验证（K-fold cross-validation）：针对训练数据不够用时的一种改善方法。把原始训练数据集分割成不重合的K份子数据集，然后做K次的训练和验证，最后对这K次的训练误差和验证误差分别求平均