注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. BPTT BackPropagation Through Time.pdf

  2. BPTT paper This report provides detailed descr iption and necessary derivations for the BackPropagation Through Time (BPTT) algorithm. BPTT is often used to learn recurrent neural networks (RNN). Contrary to feed-forward neural networks, the RNN is

  3. 所属分类：深度学习

    • 发布日期：2018-03-07
    • 文件大小：414720
    • 提供者：xiewenbo

  1. A tutorial on training recurrent neural networks

  2. Abstract: This tutorial is a worked-out version of a 5-hour course originally held at AIS in September/October 2002. It has two distinct components. First, it contains a mathematically-oriented crash course on traditional training methods for recurr

  3. 所属分类：搜索引擎

    • 发布日期：2018-07-22
    • 文件大小：1048576
    • 提供者：weixin_41245916

  1. LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章

  2. 一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解

  3. 所属分类：深度学习

    • 发布日期：2018-11-11
    • 文件大小：50176
    • 提供者：brucejiang1314

  1. LSTM理论分析

  2. 此为英文文档，内容（按在文档中出现的顺序排列）：RNN、BPTT、Vanishing Gradient Problem、Weight Conflict Problem、Treating Vanishing Gradient: Constant Error Carrousel (CEC)、Treating Wight Conflict: Gating Function、CEC + Gates（LSTM）、Why LSTM solves the problem、Experiment : two-s

  3. 所属分类：深度学习

    • 发布日期：2018-11-28
    • 文件大小：111616
    • 提供者：weixin_41906326

  1. 动手学深度学习PyTorch版 | （4）循环神经网络

  2. 文章目录一. 传统RNN二. GRUstep 1 : 载入数据集step 2 : 初始化参数step 3: GRUstep 4: 训练模型简洁实现GRU三. LSTMstep 1: 初始化参数step 2: LSTM 主函数step 3: 训练模型step 4: 简洁实现 一. 传统RNN RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） 二. GRU ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥

  3. 所属分类：其它

    • 发布日期：2020-12-23
    • 文件大小：257024
    • 提供者：weixin_38728277

  1. 动手学深度学习PyTorch版 | （4）循环神经网络

  2. 文章目录一. 传统RNN二. GRUstep 1 : 载入数据集step 2 : 初始化参数step 3: GRUstep 4: 训练模型简洁实现GRU三. LSTMstep 1: 初始化参数step 2: LSTM 主函数step 3: 训练模型step 4: 简洁实现 一. 传统RNN RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） 二. GRU ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥

  3. 所属分类：其它

    • 发布日期：2020-12-23
    • 文件大小：257024
    • 提供者：weixin_38644688

  1. 《动手学——循环神经网络进阶、梯度消失、梯度爆炸以及Kaggle房价预测、过拟合、欠拟合及其解决方案》笔记

  2. 《动手学——循环神经网络进阶》笔记 GRU 时间步数较大或者较小时，循环神经网络梯度较容易出现梯度衰减/梯度爆炸。 虽然裁剪梯度可以应对梯度爆炸，但没法解决梯度衰减问题。 所以提出⻔控循环神经⽹络GRU，来捕捉时间序列中时间步距离较⼤的依赖关系 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: Ht=ϕ(XtWxh+Ht−1Whh+bh) GRU: Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：148480
    • 提供者：weixin_38617602

  1. 《动手学习深度学习》之三：3.RNN循环神经网络（进阶）-4种模型（打卡2.6）

  2. RNN循环神经网络（进阶） 1.GRU（门控）模型 1.1.概念 1.1.1.RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） 1.1.2.GRU⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 1.2.GRU模型从零实现 1.2.1.载入数据集 import numpy as np import torch from torch import nn, optim import torc

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：441344
    • 提供者：weixin_38522214

  1. pytorchTask03打卡

  2. pytorchTask03打卡 文章目录pytorchTask03打卡1.过拟合、欠拟合以及解决方案1.1训练误差和泛化误差1.2验证数据集与K-fold验证1.3过拟合和欠拟合1.4导致过拟合和欠拟合的关键因素2.L2正则化3.drop out4.循环神经网络进阶4.1 RNN简介4.1.1RNN的起因4.1.2为什么需要RNN4.1.3RNN都能做什么4.1.4 LSTM4.1.5 GRU4.2 循环网络的向后传播（BPTT）4.3 词嵌入（word embedding）4.4 其他重要概念

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：152576
    • 提供者：weixin_38734361

  1. DL基于Pytorch Day3 循环神经网络进阶

  2. 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: GRU: • 重置⻔有助于捕捉时间序列⾥短期的依赖关系； • 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 载入数据集 import os os.listdir('/home/kesci/input') Out[1]: ['d2lzh1981', 'houseprices2807', 'jaychou_lyrics4703', 'd2l_jay9460'] I

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：216064
    • 提供者：weixin_38569166

  1. 动手学深度学习_4

  2. 动手学深度学习_41循环神经网络1.1 GRU1.2 LSTM1.3 深层RNN深度循环神经网络1.4 双向RNN双向循环神经网络2 机器翻译3 注意力机制与Seq2seq模型3.1注意力机制3.2 注意力机制框架3.3 点积注意力3.4 引入注意力机制的Seq2seq模型4 Transformer4.1多头注意力层4.2 位置编码4.3 解码器 1循环神经网络 1.1 GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） Ht=ϕ(XtWxh+Ht−1Whh+bh) H_{t}

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：484352
    • 提供者：weixin_38655987

  1. AI公益学习循环神经网络进阶

  2. 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 1.2载入数据集 import os os.listdir('/home/kesci/input') import numpy as np import torch from torch import nn, optim import torch.nn.functional as

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：290816
    • 提供者：weixin_38695159

  1. 动手学习深度学习—Task04

  2. 文章目录GRULSTM深度循环神经网络双向循环神经网络 GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 GRU: Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWzr+Ht−1Whz+bz)H^t=tanh(XtWxh+(Rt⨀Ht−1)Whh+bh)Ht=Zt⨀Ht−1+(1−Zt)⨀H^t R_t = \sigma(X_tW_{xr}+H_{t-1}W_{hr}+b_r)\\ Z_t = \sigma(

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：242688
    • 提供者：weixin_38609089

  1. task03:循环神经网络进阶

  2. 门控循环神经网络 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 GRU #参数初始化 num_inputs, num_hiddens, num_outputs = vocab_size, 256, vocab_size print('will use', device) def get_params(): def _one(shape): ts = torch.tensor(np.random.nor

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：344064
    • 提供者：weixin_38607026

  1. L2L-w-Plasticity:学习学习可塑性规则-源码

  2. 学习与STDP学习 根据差异可塑性论文，如果通过一些学习算法的外循环来优化STDP本身的过程，该怎么办？ 在外循环中使用BPTT 使用尖峰的替代梯度（重阶梯） 也许以后 使用张量分解和定点分析来分析任务表示

  3. 所属分类：其它

    • 发布日期：2021-03-07
    • 文件大小：11534336
    • 提供者：weixin_42168750

  1. lbann：利佛摩大型人工神经网络工具包-源码

  2. LBANN：Livermore大型人工神经网络工具包 Livermore大型人工神经网络工具包（LBANN）是一个开源的，以HPC为中心的深度学习培训框架，该框架经过优化可组成多个并行级别。 LBANN通过域分解提供模型并行加速，以优化网络训练的规模。 它还允许使用数据并行性和整体训练方法来组合模型并行性，以训练具有大量数据的大型神经网络。 LBANN可以利用紧密耦合的加速器，低延迟高带宽网络和高带宽并行文件系统的优势。 除了传统的监督学习之外，LBANN还支持最新的训练算法，例如无监督，自

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：7340032
    • 提供者：weixin_42137032

  1. 循环神经网络的几个模型

  2. GRU循环神经网络 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN： GRU： Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−1Whz+bz) H˜t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh) Ht=Zt⊙Ht−1+(1−Zt)⊙H˜t • 重置⻔有助于捕捉时间序列⾥短期的依赖关系； • 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 LSTM 长短期记忆long short-te

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：152576
    • 提供者：weixin_38599412

  1. 动手学深度学习（3.3）——循环神经网络进阶

  2. GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN: Ht=ϕ(XtWxh+Ht−1Whh+bh) H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h}) Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​) GRU: Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H~t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh)Ht=

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：301056
    • 提供者：weixin_38519660