注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习 Task03 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 欠拟合 当模型无法得到较低的训练误差时，我们将这一现象称作欠拟合（underfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里重点讨论两个因素： 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：271360
    • 提供者：weixin_38647517

  1. 《动手学深度学习》第二次打卡-学习小队

  2. 一、学习任务： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：512000
    • 提供者：weixin_38613154

  1. 【动手学深度学习】Task03笔记汇总

  2. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响，或许有很多研究怎么丰富数据集的文献吧，数据集大，那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法： 权重衰减，也即L2-Norm Regularization。从公式和名字易见，该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。（那么自然而然会产生的问题就是：为什么不对偏置做正则化，这个可以去实验一下，应该会发现偏置没有

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：105472
    • 提供者：weixin_38735987

  1. 动手学 task03 过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

  2. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度与过拟合、欠拟合的关系如下图： 训练数据集大小： 影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：51200
    • 提供者：weixin_38749305

  1. 《动手学深度学习》Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 一、模型选择、过拟合和欠拟合 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38743084

  1. 《动手学深度学习》Task03：过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

  2. 文章目录1 过拟合、欠拟合及其解决方案1.1 模型选择、过拟合和欠拟合1.2 过拟合和欠拟合1.3 权重衰减1.4 丢弃法2 梯度消失、梯度爆炸2.1 梯度消失和梯度爆炸2.2 考虑环境因素3 循环神经网络进阶3.1 GRU3.2 LSTM3.3 双向循环神经网络 文章目录 过拟合、欠拟合及其解决方案 梯度消失、梯度爆炸 循环神经网络进阶 1 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 1.1 模型选择、过拟合和欠拟合 1.1.1 训练误差和泛

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38663415

  1. 动手学深度学习实现DAY-2

  2. 节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38586279

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：51200
    • 提供者：weixin_38717359

  1. 动手学深度学习打卡之二。

  2. 第二次打卡内容（2月15日-18日） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 感觉内容比较多啦，终于看完了。。 下面附上一些学习中查到的资料。 Deep Learning（深度学习）学习笔记整理系列之（一） b站上动手学深度学习 开学前要学完哦！！加油！！ 作者：poppy917

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：28672
    • 提供者：weixin_38506835

  1. 动手学深度学习（Pytorch版）task3-5打卡

  2. 对于task3-5的内容进行打卡 Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 模型复杂度和误差之间的关系 权重衰减的计算公式： Xavier初始化 梯度裁剪 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向量 g ，并设裁剪的阈值是 θ 。裁剪后的梯度为： GRU 重置门用于捕捉时间序列里的短期依赖关系 更新门有助于捕捉时间

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：773120
    • 提供者：weixin_38735790