注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. [笔记2]动手学深度学习

  2. 资料来源：伯禹学习平台。 概念整理 K折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验证误差分别求平均。 L2 范数正

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：759808
    • 提供者：weixin_38743054

  1. 《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记

  2. 动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶 卷积神经网络基础 目录： 1、卷积神经网络的基础概念 2、卷积层和池化层 3、填充、步幅、输入通道和输出通道 4、卷积层的简洁实现 5、池化层的简洁实现 1、卷积神经网络的基础概念 最常见的二维卷积层，常用于处理图像数据。 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：135168
    • 提供者：weixin_38630571

  1. 《动手学深度学习》pytorch版笔记2

  2. 《动手学深度学习》pytorch版笔记2 Task3 过拟合、欠拟合及其解决方案 这部分内容比较简单，写下问题吧，再挖几个坑 1.模型复杂度如何改变，三阶到一阶等 2.L2范数正则化为什么是权重衰减的一种方式？ 梯度消失，梯度爆炸 1.初始化过程 2.标签偏移的概念 3.数据处理过程 循环神经网络进阶 GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧 Task4 机器翻译及相关技术 机器翻

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：114688
    • 提供者：weixin_38686677

  1. 动手学深度学习Pytorch版本学习笔记 Task 04

  2. 1.机器翻译及相关技术 1.1数据预处理 读取数据，处理数据中的编码问题，并将无效的字符串删除 分词，分词的目的就是将字符串转换成单词组成的列表。目前有很多现成的分词工具可以直接使用，也可以直接按照空格进行分词(不推荐，因为分词不是很准确) 建立词典，将单词组成的列表编程单词id组成的列表，这里会得到如下几样东西 (1). 去重后词典，及其中单词对应的索引列表。 注：去重后排序作用：高频词的id在前，这样可以减少查询次数（相对于随机编码），训练word2vec中有个HUffman树，也是这个思想

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：70656
    • 提供者：weixin_38598745

  1. 动手学深度学习Pytorch版本学习笔记 Task4

  2. 1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 主要步骤： 1. 数据预处理 2.分词 3.建立词典 Sequence to Sequence模型： 2.注意力机制与Seq2seq模型 a.点注意力机制与多层感知机注意力机制 b.引入注意力机制的Seq2seq模型:将注意机制添加到sequence to sequence

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：199680
    • 提供者：weixin_38717896

  1. 动手学深度学习Pytorch版本学习笔记 Task 03

  2. 1.过拟合、欠拟合及其解决方案 1.1对于过拟合、欠拟合的理解 我们探究模型训练中经常出现的两类典型问题： 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。 1.2模型复杂度的影响 1.3训练数据集大小影响 影响欠

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：212992
    • 提供者：weixin_38750861

  1. 【学习笔记】动手学深度学习 Task02

  2. (需要一定时间逐步补充以下内容，暂且用做打卡) 1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 模型选择 验证数据集 K折交叉验证 过拟合和欠拟合 模型复杂度 权重衰减 L2 范数正则化 高维线性回归实验 2. 梯度消失、梯度爆炸 梯度消失 梯度爆炸 模型训练和预测 3. 卷积神经网络基础 二维卷积层 二维互相关运算 特征图与感受野 填充和步幅 多输入通道和多输出通道 卷积层与全连接层的对比 卷积、池化 4. 循环神经网络进阶 GRU LSTM 5. 机器翻译及相关技术 数据预处理 分词 建

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：43008
    • 提供者：weixin_38697444

  1. PyTorch版《动手学深度学习》学习笔记 Task.4

  2. 有效长度 def SequenceMask(X, X_len,value=0): maxlen = X.size(1) mask = torch.arange(maxlen)[None, :].to(X_len.device) < X_len[:, None] X[~mask]=value return X 在seq2seq模型中，解码器只能隐式地从编码器的最终状态中选择相应的信息。然而，注意力机制可以将这种选择过程显式地建模。 unsqueeze()函数

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：31744
    • 提供者：weixin_38695773

  1. 【动手学深度学习】Task03笔记汇总

  2. Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响，或许有很多研究怎么丰富数据集的文献吧，数据集大，那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法： 权重衰减，也即L2-Norm Regularization。从公式和名字易见，该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。（那么自然而然会产生的问题就是：为什么不对偏置做正则化，这个可以去实验一下，应该会发现偏置没有

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：105472
    • 提供者：weixin_38735987

  1. 伯禹学习平台：动手学深度学习2

  2. 因为前面那种写法过于累赘，所以改变写作策略，笔记是写给自己看的，所以把自己比较懂的都不写了，每段大概就两三句话让自己回头看的时候能知道这里讲的是什么，学习资料里简短的易懂的可能还会直接贴原文，这样可以节省大部分时间并且简洁，循环神经网络大多一笔带过。 学习笔记Task3 过拟合，欠拟合及其解决方案 过拟合就是拟合训练集过度，实际运用的泛化差，训练效果好验证差。 欠拟合就是拟合训练集不够，训练效果和验证都差。 过拟合就是模型过于依赖训练集，模型复杂或者训练集小参数多都会产生这种情况。欠拟合就是模型

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：480256
    • 提供者：weixin_38522795

  1. [深度学习]动手学深度学习笔记-5

  2. Task2——梯度消失、梯度爆炸 5.1 梯度消失与梯度爆炸的概念 深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深。 那么如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化. 那么如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这就是梯度爆炸。 5.2 梯度消失与梯度爆炸的后果 梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新，也就停止了学习。 梯度爆炸会使得学

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：627712
    • 提供者：weixin_38516658

  1. 【动手学深度学习】Task05笔记汇总

  2. Task05：卷积神经网络基础；leNet；卷积神经网络进阶 相比taks04，感觉这边比较能看得下去，就先看了。   卷积神经网络基础 1.卷积和池化的计算概念不难理解，本质还是矩阵运算，又在感叹之前老师在代数学里埋的种子。 2.二者最大的区别是，池化层好像没有自己学什么，只是数值的搬运工，然后在模型里的日常工作是降维。但卷积层应该是学到新东西了，适当设置步长也能代班降维。想到之前有个朋友还玩了卷积核的可视化，之前没懂她在干嘛，现在可能有点点懂了。池化层有参与模型的正向计算，同样也会参与反向传

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：270336
    • 提供者：weixin_38607908

  1. 动手学深度学习 Task4 笔记

  2. 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 分词 建立词典 载入数据集 二、注意力机制与Seq2seq模型 在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：62464
    • 提供者：weixin_38516040

  1. 动手学深度学习 Task3 笔记

  2. 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶 2.15-2.19 一、过拟合、欠拟合及其解决方案 1、过拟合问题 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 产生过拟合的可能原因 模型复杂度过高 训练数据过少，特别是比模型参数数量（按元素计）更少 解决过拟合的方案 降低模型复杂度 增加训练数据 在计算资源允许的范围之内，我们通常希望训练数据集大一些 2、欠拟合问题 模型无法得到较低的训练误差，我们将这一现象称作欠拟合（unde

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：43008
    • 提供者：weixin_38669832

  1. 动手学深度学习学习笔记tf2.0版（3.8: 多层感知机）

  2. 注意这里的bh维度为 1 * h,计算时使用广播机制，进行计算 所以引入激活函数 %matplotlib inline import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import random def use_svg_display(): # 用矢量图显示 %config InlineBackend.figure_format = 'svg' def set_fi

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：446464
    • 提供者：weixin_38647925

  1. [深度学习]动手学深度学习笔记-6

  2. Task-3——循环神经网络进阶 6.1 长短期记忆（LSTM） 6.1.1 理论知识理解 理解LSTM网络 6.1.2 LSTM的从零开始实现 以下附上代码： 导入相应的包 import numpy as np import torch from torch import nn, optim import torch.nn.functional as F import sys sys.path.append(..) import d2lzh_pytorch as d2l device =

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：974848
    • 提供者：weixin_38733676

  1. 动手学深度学习Pytorch版本学习笔记 Task3

  2. 1.过拟合、欠拟合及其解决方案 过拟合：模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 欠拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 解决过拟合的方法：权重衰减（L2 范数正则化）和丢弃法 2.梯度消失和梯度爆炸 a.梯度消失和梯度爆炸 假设一个层数为LL的多层感知机的第ll层H(l)H(l)的权重参数为W(l)W(l)，输出层H(L)H(L)的权重参数为W

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：51200
    • 提供者：weixin_38694800

  1. 《动手学深度学习——机器翻译及相关技术，注意力机制与seq2seq模型，Transformer》笔记

  2. 动手学深度学习：机器翻译及相关技术，注意力机制与seq2seq模型，Transformer 初次学习机器翻译相关，把课程的概念题都记录一下。 目录： 1、机器翻译及相关技术 2、注意力机制与seq2seq模型 3、Transformer 1、机器翻译以及相关技术 1、机器翻译以及相关技术 1、关于Sequence to Sequence模型说法错误的是： A 训练时decoder每个单元输出得到的单词作为下一个单元的输入单词。 B 预测时decoder每个单元输出得到的单词作为下一个单元的输入单

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：363520
    • 提供者：weixin_38659789

  1. 动手学深度学习打卡之二。

  2. 第二次打卡内容（2月15日-18日） Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） 感觉内容比较多啦，终于看完了。。 下面附上一些学习中查到的资料。 Deep Learning（深度学习）学习笔记整理系列之（一） b站上动手学深度学习 开学前要学完哦！！加油！！ 作者：poppy917

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：28672
    • 提供者：weixin_38506835

  1. ElitesAI·动手学深度学习PyTorch版学习笔记-卷积神经网络基础；leNet；卷积神经网络进阶

  2. 宅家中看到Datawhale的学习号召，在大牛云集的群上找到了一个很佛系的小组，战战兢兢地开始了小白的深度学习之旅。感谢Datawhale、伯禹教育、和鲸科技，感谢课程制作者、组织者、各位助教以及其他志愿者！ 1 卷积神经网络基础 1.1 二维卷积 本小节介绍了二维卷积，主要用于图像数据（刚好是二维的数据）处理。 二维卷积通过输入二维数据和二维核数据的运算（卷积），得到一个小于输入数据的二维输出数据，但是该输出数据依然部分保存了输入数据的信息。输出的二维数据可以看作输入数据的一个缩略图，也叫

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：51200
    • 提供者：weixin_38652196
« 12 »