训练误差和泛化误差 训练误差： 在训练数据上表现得误差 泛化误差：在任意测试数据上表现的误差的期望 通过损失来衡量误差。例如，线性回归用平方损失函数，softma用的交叉熵回归。 模型的核心是降低泛化误差。 常见训练数据划分方法 1.留有一定比例的验证集 2. K折交叉验证 欠拟合（无法得到较低的误差）和过拟合（训练误差远小于测试误差） 产生的原因： 模型复杂度和训练数据 1.模型复杂度 2. 训练数据 一般来说训练数据随模型成正比例关系。 解决方法 ： L2范数正则化 通过模型的计算误差来惩罚

seq2seq模型 定义 sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架。 应用场景 机器翻译 聊天机器人 文本摘要生成 图片描述生成 诗词生成 故事风格改写 代码补全 思路 seq2seq可以说是基于RNN提出的生成序列的模型，一般来说，对于基础的RNN我们可以输入一段序列数据得到一个输出结果，而seq2seq则可以输出一段序列结果。seq2seq分为encoder（编码）和decoder（解码）两个过程： 输出C称为语义向

这三天主要学习了神经网络中常见的梯度爆炸，梯度弥散等常见问题，经典卷积神经网络LeNet和机器翻译相关技术。初学深度学习从中无不领会到深度学习的知识面之广，深度学习问题的复杂性显而易见。下面是我使用LeNet网络对Cifar10数据集识别的代码，算是这次深度学习的打卡代码。 from torchvision.transforms import ToPILImage import torch as t import torch.nn as nn import torch.nn.functional

1. 深度学习模型中梯度会出现2种极端消失（vanishing）和爆炸（explosion） 产生的原因：模型太深。 2. 随机初始化模型参数的原因 避免同一层参数一样，经过有限次迭代依旧一样。 3. pytorch 的nn.module 已经默认经过合理初始化 4.几个偏移概念 （1）协变量偏移（x偏移）： 训练一堆真实的猫狗图像，但是测试的是卡通猫狗。 （2）标签偏移（y偏移）：测试出现了训练时没有出现的标签 （3）概念偏移（不常见）：发生很缓慢 作者：炼丹法师SunFine