一、学习任务： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后

过拟合、欠拟合及其解决方案 训练误差：模型在训练数据集上表现出的误差。 泛化误差：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似——机器学习模型应关注降低泛化误差。 损失函数 （1）平方损失函数 （2）交叉熵损失函数(CrossEntropy Loss)——度量两个概率分布间的差异性，在机器学习中表示为样本的真实分布和模型所预测的分布之间的差异，反复训练使预测分布接近真实分布。 交叉熵公式： 其中p为真实概率分布，q为预测概率分布。交叉熵在分类问题中常常与so