训练误差和泛化误差 训练误差： 在训练数据上表现得误差 泛化误差：在任意测试数据上表现的误差的期望 通过损失来衡量误差。例如，线性回归用平方损失函数，softma用的交叉熵回归。 模型的核心是降低泛化误差。 常见训练数据划分方法 1.留有一定比例的验证集 2. K折交叉验证 欠拟合（无法得到较低的误差）和过拟合（训练误差远小于测试误差） 产生的原因： 模型复杂度和训练数据 1.模型复杂度 2. 训练数据 一般来说训练数据随模型成正比例关系。 解决方法 ： L2范数正则化 通过模型的计算误差来惩罚

前言 记《手动学深度学习》组队学习第二次打卡 打卡内容 线性回归代码实现（基于Pytorch） 理论复习 线性回归理论部分可参考上一篇博客 线性回归模型从零开始的实现 借助jupyter运行代码，方便清晰展示各环节的输出情况。 1. 导入基础模块 In [ ]: # import packages and modules %matplotlib inline import torch from IPython import display from matplotlib import pyplo

第二次打卡学习笔记 1.过拟合欠拟合及其解决方案 2.梯度消失与梯度爆炸 3.循环神经网络进阶 4.机器翻译及相关技术 5.注意力机制与Seq2seq模型 6.Transfomer 7.卷积神经网络基础 8.LeNet 9.卷积神经网络进阶 过拟合欠拟合及其解决方案 在解释过拟合和欠拟合现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差

1. 深度学习模型中梯度会出现2种极端消失（vanishing）和爆炸（explosion） 产生的原因：模型太深。 2. 随机初始化模型参数的原因 避免同一层参数一样，经过有限次迭代依旧一样。 3. pytorch 的nn.module 已经默认经过合理初始化 4.几个偏移概念 （1）协变量偏移（x偏移）： 训练一堆真实的猫狗图像，但是测试的是卡通猫狗。 （2）标签偏移（y偏移）：测试出现了训练时没有出现的标签 （3）概念偏移（不常见）：发生很缓慢 作者：炼丹法师SunFine