注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 动手学深度学习02–task03

  2. 填充和步幅 我们介绍卷积层的两个超参数，即填充和步幅，它们可以对给定形状的输入和卷积核改变输出形状。 填充 填充（padding）是指在输入高和宽的两侧填充元素（通常是0元素），图2里我们在原输入高和宽的两侧分别添加了值为0的元素。 图2 在输入的高和宽两侧分别填充了0元素的二维互相关计算 如果原输入的高和宽是nhn_hnh​和nwn_wnw​，卷积核的高和宽是khk_hkh​和kwk_wkw​，在高的两侧一共填充php_hph​行，在宽的两侧一共填充pwp_wpw​列，则输出形状为： (nh

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：406528
    • 提供者：weixin_38685694

  1. 动手学深度学习Task03-Task05

  2. 过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 L2 范数正则化（regularization） L2 范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例 其中 w1,w

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：840704
    • 提供者：weixin_38685882

  1. DAY2-《动手学深度学习》(PyTorch版)

  2. Task03： 过拟合和欠拟合 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征x和对应的标量标签y组成的训练数据集，多项式函数拟合

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：183296
    • 提供者：weixin_38677260

  1. 动手学深度学习 Task03 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 【一】过拟合、欠拟合及其解决方案 过拟合 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 欠拟合 当模型无法得到较低的训练误差时，我们将这一现象称作欠拟合（underfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里重点讨论两个因素： 模型复杂度和训练数据集大小。 1.模型复杂度 为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：271360
    • 提供者：weixin_38647517

  1. 《动手学深度学习》第二次打卡-学习小队

  2. 一、学习任务： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 二、学习要点 2.1 过拟合、欠拟合及其解决方案 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：512000
    • 提供者：weixin_38613154

  1. 动手学深度学习Pytorch版本学习笔记 Task 03

  2. 1.过拟合、欠拟合及其解决方案 1.1对于过拟合、欠拟合的理解 我们探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 1.2模型复杂度的影响 1.3训练数据集大小影响 影响欠

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：212992
    • 提供者：weixin_38750861

  1. 动手学深度学习笔记二

  2. Task03 错题 一.过拟合、欠拟合及解决方法 二.梯度消失、梯度爆炸 可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。 三.循环神经网络进阶 实现深层循环神经网络需要修改的参数是？num_layers 3. GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。 4. 每个循环单元中的记

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：43008
    • 提供者：weixin_38694674

  1. 【动手学深度学习】Task03笔记汇总

  2. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响，或许有很多研究怎么丰富数据集的文献吧，数据集大，那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法： 权重衰减，也即L2-Norm Regularization。从公式和名字易见，该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。（那么自然而然会产生的问题就是：为什么不对偏置做正则化，这个可以去实验一下，应该会发现偏置没有

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：105472
    • 提供者：weixin_38735987

  1. ElitesAI·动手学深度学习PyTorch版Task03打卡

  2. Task3打卡 1、过拟合、欠拟合及其解决方案 目录： 相关的基本概念 权重衰减 过拟合、欠拟合解决方法 1、相关的基本概念 训练误差： 模型在训练数据集上表现出的误差。 泛化误差： 模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合（underfitting）： 模型无法得到较低的训练误差。 过拟合（overfitting）： 模型的训练误差远小于它在测试数据集上的误差。 注：在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：442368
    • 提供者：weixin_38641876

  1. ElitesAI·动手学深度学习PyTorch版-第二次打卡task03

  2. 1、卷积神经网络基础： 1.1 二维卷积操作： 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。 其中。卷积核为2:heavy_m

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：945152
    • 提供者：weixin_38718262

  1. 《动手学深度学习》Task03 ：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

  2. 一、模型选择、过拟合和欠拟合 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随机选取一小部分作为验证集，而将剩余部分作为真正的训练集。 K折交叉验证 由于验证数据集不参与模型训练，

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38743084

  1. 伯禹《动手学深度学习》打卡博客：Task03+Task04

  2. 量太大了，我先挑几个我感兴趣的学一下，漏下的等有空再补上了 文章目录一、循环神经网络二、GRU（gated recurrent unit）三、LSTM（长短期记忆） 一、循环神经网络 参考博客：零基础入门深度学习(5) – 循环神经网络 1.循环神经网络最大的用处就是处理序列的信息，即前面和后面的输入是有关系的，比如理解一句话的意思，以及处理视频 2.语言模型：给定一句话前面的成分，预测接下来最有可能的一个词是什么 3.下面是一个简单的RNN模型示意图，它由输入层、隐藏层和输出层组成 4.全

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：260096
    • 提供者：weixin_38659646

  1. 动手学深度学习Task03

  2. Task03 1.过拟合欠拟合及其解决方案 训练误差（training error）：模型在训练数据集上表现出的误差。 泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 机器学习模型应关注降低泛化误差。 通常需要预留一部分在训练数据集和测试数据集以外的数据来进行模型选择，这部分数据被称为验证数据集，简称验证集（validation set）。 K折交叉验证：把原始训练数据集分割成K个不重合的子数据集，然后我

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：311296
    • 提供者：weixin_38605538

  1. ElitesAI·动手学深度学习PyTorch版(第二次打卡)

  2. • Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸 知识点 1.训练误差（training error）和泛化误差（generalization error） 训练误差：训练数据集上表现出的误差 泛化误差：模型在测试数据样本上表现出的误差 验证误差：我们可以预留一部分在训练数据集和测试数据集以外的数据代入模型求得得误差。训练数据集和测试数据集以外的数据被称为验证数据集，简称验证集（validation set） 2.过拟合、欠拟合 欠拟合（underfitting）:模型无法得到较

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：434176
    • 提供者：weixin_38523728

  1. 动手学深度学习实现DAY-2

  2. 节选自“ElitesAI·动手学深度学习PyTorch版” Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training err

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38586279

  1. 【Pytorch】动手学深度学习（二）

  2. 学习安排如下： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） 梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触； 循环神经网络以及过拟合部分比较容易理解； Task04：机器翻译及

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：51200
    • 提供者：weixin_38717359

  1. 《动手学深度学习》组队学习 Task03-05

  2. Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点： 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释，引入了两个我之前没重视的概念：训练误差和泛化误差。 训练误差（training error），指模型在训练数据集上表现出的误差； 泛化误差（generalization error），指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 欠拟合现象：模型无法达到一个较低的误差。 过拟合现象：训练误差较低但是泛化误

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：43008
    • 提供者：weixin_38601215

  1. 动手学深度学习打卡之二。

  2. 第二次打卡内容（2月15日-18日） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 感觉内容比较多啦，终于看完了。。 下面附上一些学习中查到的资料。 Deep Learning（深度学习）学习笔记整理系列之（一） b站上动手学深度学习 开学前要学完哦！！加油！！ 作者：poppy917

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：28672
    • 提供者：weixin_38506835

  1. 动手学深度学习（Pytorch版）task3-5打卡

  2. 对于task3-5的内容进行打卡 Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 模型复杂度和误差之间的关系 权重衰减的计算公式： Xavier初始化 梯度裁剪 循环神经网络中较容易出现梯度衰减或梯度爆炸，这会导致网络几乎无法训练。裁剪梯度（clip gradient）是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向量 g ，并设裁剪的阈值是 θ 。裁剪后的梯度为： GRU 重置门用于捕捉时间序列里的短期依赖关系 更新门有助于捕捉时间

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：773120
    • 提供者：weixin_38735790

  1. 《动手学深度学习》Task03-Task05

  2. 过拟合、欠拟合及其解决方案 训练误差：模型在训练数据集上表现出的误差。 泛化误差：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似——机器学习模型应关注降低泛化误差。 损失函数 （1）平方损失函数 （2）交叉熵损失函数(CrossEntropy Loss)——度量两个概率分布间的差异性，在机器学习中表示为样本的真实分布和模型所预测的分布之间的差异，反复训练使预测分布接近真实分布。 交叉熵公式： 其中p为真实概率分布，q为预测概率分布。交叉熵在分类问题中常常与so

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：519168
    • 提供者：weixin_38699492
« 12 »