您好,欢迎光临本网站![请登录][注册会员]  

搜索资源列表

  1. 第二次学习笔记

  2. 过拟合、欠拟合及其解决方案; 过拟合、欠拟合的概念 权重衰减 丢弃法 梯度消失、梯度爆炸; 用房价预测的例子体现: 关于房价的预测,定义这个预测函数 def train_and_pred(train_features, test_features, train_labels, test_data, num_epochs, lr, weight_decay, batch_size): net = get_net(train_features.shape[1]) train_ls, _ = trai
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:58368
    • 提供者:weixin_38672815
  1. 【DL学习笔记】打卡02:Task03-05

  2. Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer Task05:卷积神经网络基础;leNet;卷积神经网络进阶 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:70656
    • 提供者:weixin_38508497
  1. 第二阶段学习笔记

  2. 过拟合、欠拟合及其解决方案 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:303104
    • 提供者:weixin_38592611
  1. 14天动手挑战深度学习Pytorch–task3、4、5笔记

  2. 一、过拟合以及欠拟合提出以及解决方案 1.欠拟合以及过拟合的概念 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 2.模型复杂度和训练数据集大小 3补充:在多项式函数拟合实验中用到的torch.cat()函数的用
  3. 所属分类:其它

    • 发布日期:2021-01-07
    • 文件大小:142336
    • 提供者:weixin_38554186
  1. 《动手学深度学习》PyTorch实现(过拟合、欠拟合及其解决方案)

  2. 笔记整理 代码整理 L2 范数正则化(regularization) %matplotlib inline import torch import torch.nn as nn import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l # L2范数正则化 def fit_and_plot_pytorch(wd): # 对权重参数衰减。权重名称一般是以weight结
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:783360
    • 提供者:weixin_38641150
  1. 《动手学深度学习》task4——机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer笔记

  2. 系统学习《动手学深度学习》点击这里: 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:78848
    • 提供者:weixin_38687968
  1. 《动手学深度学习》pytorch版笔记2

  2. 《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单,写下问题吧,再挖几个坑 1.模型复杂度如何改变,三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式? 梯度消失,梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU,LSTM中的门结构实现起来还挺复杂的,有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络,印象中一般不会堆叠很多层,有空再研究一下吧 Task4 机器翻译及相关技术 机器翻
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:114688
    • 提供者:weixin_38686677
  1. 山书学习第三次笔记

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的意义 当我们训练一个模型时,一般会得到两个结果:好模型,坏模型。 坏模型的意义就是那些不能得出正确结果的模型。 而得到坏模型的原因有两: 1.欠拟合; 2.过拟合; 欠拟合 现象表现为:训练时得到的结果差,测试时,得到的结果也差。 造成这种情况的原因,在于训练的次数过少,或是训练的样本过少。 与之对应的解决方案,训练的次数更多点就是了。 过拟合 结果现象表现为:训练时得到的结果极高,测试时,得到的结果相对差得有点多。 函数现象表现为:过于贴合训练样本,
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:191488
    • 提供者:weixin_38525735
  1. 深度学习—学习笔记(二)

  2. 模型选择、过拟合和欠拟合 1、训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。机器学习模型应关注降低泛化误差。 2、模型选择 验证数据集
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:103424
    • 提供者:weixin_38589314
  1. 动手学深度学习Pytorch版本学习笔记 Task 03

  2. 1.过拟合、欠拟合及其解决方案 1.1对于过拟合、欠拟合的理解 我们探究模型训练中经常出现的两类典型问题: 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 1.2模型复杂度的影响 1.3训练数据集大小影响 影响欠
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:212992
    • 提供者:weixin_38750861
  1. 动手深度学习 笔记5

  2. 模型选择、欠拟合和过拟合 训练误差(training error):指模型在训练数据集上表现出的误差。 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 机器学习模型应关注降低泛化误差。 模型选择 1.验证数据集 我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集,简称验证集(validation set)。 2.K折交叉验证 把原始训练数据集分割成K个不重合的
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:44032
    • 提供者:weixin_38521831
  1. 深度学习笔记(3)

  2. 一、过拟合、欠拟合及其解决方案 1、训练误差和泛化误差 训练误差(training error):指模型在训练数据集上表现出的误差。 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 验证数据集:预留一部分在训练数据集和测试数据集以外的数据来进行
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:285696
    • 提供者:weixin_38640985
  1. 【学习笔记】动手学深度学习 Task02

  2. (需要一定时间逐步补充以下内容,暂且用做打卡) 1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 模型选择 验证数据集 K折交叉验证 过拟合和欠拟合 模型复杂度 权重衰减 L2 范数正则化 高维线性回归实验 2. 梯度消失、梯度爆炸 梯度消失 梯度爆炸 模型训练和预测 3. 卷积神经网络基础 二维卷积层 二维互相关运算 特征图与感受野 填充和步幅 多输入通道和多输出通道 卷积层与全连接层的对比 卷积、池化 4. 循环神经网络进阶 GRU LSTM 5. 机器翻译及相关技术 数据预处理 分词 建
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:43008
    • 提供者:weixin_38697444
  1. Task03:过拟合、欠拟合及其解决方案学习笔记

  2. 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:108544
    • 提供者:weixin_38727199
  1. 过拟合、欠拟合学习笔记

  2. 探究模型训练中经常出现的两类典型问题: 一类是欠拟合,另一类是过拟合. 1.欠拟合 模型无法得到较低的训练误差,将这一现象成为欠拟合. 2.过拟合 模型的训练误差远小于它在测试集上的误差,称这一现象为过拟合. 可能导致这两种拟合问题的因素有很多,比如模型复杂度和训练集大小. 模型复杂度 随着模型复杂度增加,训练误差波动降低,平均训练误差降低趋向于0,而测试误差波动上升,平均测试误差先降低后升高。这个现象说明训练误差不能代替测试误差来作为模型选择和评价的手段。随着模型复杂度变化,训练误差与测试误差
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:38912
    • 提供者:weixin_38726441
  1. 【动手学深度学习】Task03笔记汇总

  2. Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响,或许有很多研究怎么丰富数据集的文献吧,数据集大,那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法: 权重衰减,也即L2-Norm Regularization。从公式和名字易见,该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。(那么自然而然会产生的问题就是:为什么不对偏置做正则化,这个可以去实验一下,应该会发现偏置没有
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:105472
    • 提供者:weixin_38735987
  1. [动手学深度学习PyTorch笔记三]

  2. 一 过拟合、欠拟合及其解决方案 欠拟合(underfitting): 一类是模型无法得到较低的训练误差,我们将这一现象称作 过拟合(overfitting):模型的训练误差远小于它在测试数据集上的误差,我们称该现象为。 在实践中,我们要尽可能同时应对欠拟合和过拟合。两个主要影响因素:模型复杂度和训练数据集大小。模型复杂度过低会导致欠拟合,过高则导致过拟合,训练数据集过小容易发生过拟合。因此需选取适当的模型复杂度和计算能力范围内可以承受的较大训练数据集。 解决方案 1 权重衰减 权重衰减等价于 L
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:60416
    • 提供者:weixin_38686860
  1. 动手学深度学习 Task3 笔记

  2. 过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 2.15-2.19 一、过拟合、欠拟合及其解决方案 1、过拟合问题 模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 产生过拟合的可能原因 模型复杂度过高 训练数据过少,特别是比模型参数数量(按元素计)更少 解决过拟合的方案 降低模型复杂度 增加训练数据 在计算资源允许的范围之内,我们通常希望训练数据集大一些 2、欠拟合问题 模型无法得到较低的训练误差,我们将这一现象称作欠拟合(unde
  3. 所属分类:其它

    • 发布日期:2021-01-06
    • 文件大小:43008
    • 提供者:weixin_38669832
  1. 《动手学深度学习》task3——过拟合、欠拟合及解决方案,梯度消失、梯度爆炸,循环神经网络进阶笔记

  2. 系统学习《动手学深度学习》点击这里: 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《
  3. 所属分类:其它

    • 发布日期:2021-01-20
    • 文件大小:194560
    • 提供者:weixin_38584058
  1. 动手学深度学习打卡之二。

  2. 第二次打卡内容(2月15日-18日) Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶(1天) Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer(1天) Task05:卷积神经网络基础;leNet;卷积神经网络进阶(1天) 感觉内容比较多啦,终于看完了。。 下面附上一些学习中查到的资料。 Deep Learning(深度学习)学习笔记整理系列之(一) b站上动手学深度学习 开学前要学完哦!!加油!! 作者:poppy917
  3. 所属分类:其它

    • 发布日期:2021-01-20
    • 文件大小:28672
    • 提供者:weixin_38506835
« 12 »