一、学习任务： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后

1.过拟合欠拟合及其解决方案 1.1概念 欠拟合（underfitting）：模型无法得到较低的训练误差； 过拟合（overfitting）：模型的误差远小于它在测试数据上的误差。 给定训练集，模型复杂度和误差之间的关系为： 1.2多项式函数拟合实验 %matplotlib inline import torch import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l pr

第二次打卡内容 Task1 过拟合欠拟合，梯度消失，爆炸，LSTM,GRU Tsak2 机器翻译，Seq2Seq， Transformer Task3 卷积神经网络基础和进阶，leNet 过拟合与欠拟合 过拟合：泛化误差高于训练误差，原因是模型过于复杂或者训练数据集比较小。当模型过于复杂时，可以简化模型参数或者加入L2正则化对参数进行惩罚，也可以采用丢弃法泛化误差不会随着训练数据集里的样本数量增加儿增大，所以通常选择大一些的训练数据集。 欠拟合：无法得到较低的训练误差。原因是训练数据集不够或者模