注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. seq2seq模型和基于注意力机制的seq2seq模型

  2. 使用 seq2seq 模型和基于注意力机制的 seq2seq 模型（AttSeq2Seq）模型两种方法，实现 MNIST 数据集分类

  3. 所属分类：深度学习

    • 发布日期：2020-03-21
    • 文件大小：11534336
    • 提供者：m0_37602827

  1. L1-L12.rar

  2. 2020 年参加伯禹教育pytorch培训资料 包括L12 Transformer.L11注意力机制和Seq2seq模型L10机器翻译L9循环神经网络进阶 L8梯度消失、梯度爆炸L7过拟合欠拟合及其解决方案L6循环神经网络L5语言模型与数据集L4文本预处理L3Softmax与分类模型L2多层感知机L1 线性回归 博文https://blog.csdn.net/xiuyu1860L1到L11所有jupyter noteobok 文件下载

  3. 所属分类：深度学习

    • 发布日期：2020-02-15
    • 文件大小：107520
    • 提供者：xiuyu1860

  1. Datawhale 组对学习打卡营 任务11： 注意力机制和Seq2seq模型

  2. 目录 注意力机制 Softmax屏蔽 点积注意力 测试 多层感知机注意力 测试 总结 引入注意力机制的Seq2seq模型 解码器 训练 训练和预测 import math import torch import torch.nn as nn import os def file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir): # print(root, root) # 当前目录路径

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：380928
    • 提供者：weixin_38660579

  1. 《动手学深度学习》机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer机器翻译及其相关技术编码器和解码器编码器解码器束搜索贪婪搜索束搜索注意力机制与Seq2Seq模型计算背景变量Transformer 机器翻译及其相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 编码器和解码器 在翻译时，输入句子和输出句子往往不一样长，所以为了处理输入

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：271360
    • 提供者：weixin_38596485

  1. 《动手学深度学习》笔记 Task04 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 将数据集清洗、转化为神经网络的输入minbatch 分词 字符串—单词组成的列表 建立词典 单词组成的列表—单词id组成的列表 载入数据集 Encoder-Decoder encoder：输入到隐藏状态 decoder：隐藏状态到输出 Sequence to Sequen

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：315392
    • 提供者：weixin_38739837

  1. Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer知识点总结

  2. 机器翻译 把一种语言自动翻译为另一种，输出的是单词序列（其长度可能与原序列不同） 步骤为：数据预处理 —> Seq2Seq模型构建 —> 损失函数 —> 测试 数据预处理： 读取数据。 处理编码问题，删除无效字符串 分词。把字符串转化为单词列表。 建立字典。把单词组成的列表转化为单词索引的列表 在tf、pytorch这类框架中要做padding操作，使一个batch数据长度相等 定义数据生成器。 Seq2Seq 6. 先用循环神经网络编码成一个向量再解码输出一个序列的元素。然

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：60416
    • 提供者：weixin_38682086

  1. 《动手学深度学习》task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer笔记

  2. 系统学习《动手学深度学习》点击这里： 《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 《动手学深度学习》task2_3 循环神经网络基础 《动手学深度学习》task3_1 过拟合、欠拟合及其解决方案 《动手学深度学习》task3_2 梯度消失、梯度爆炸 《动手学深度学习》task3_3 循环神经网络进阶 《

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：78848
    • 提供者：weixin_38687968

  1. Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. 如果我们现在要做个中英文翻译,比如我是中国人翻译成 ‘i am Chinese’.这时候我们会发现输入有 5个中文字,而输出只有三个英文单词. 也就是输入长度并不等于输出长度.这时候我们会引入一种 编码器-解码器的模型也就是 (Encoder-Decoder).首先我们通过编码器 对输入 ‘我是中国人’ 进行信息编码, 之后将生成的编码数据输入 decoder 进行解码.一般编码器和解码器 都会使用循环神经网络. 当然为了使机器知道句子的结束我们会在每个句子后面增加 一个 表示 句子的结束.使

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38658982

  1. 过拟合欠拟合及其解决方案；梯度消失梯度爆炸；循环神经网络进阶；机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer；卷积神经网络基础；leNet；卷积神经网络进阶

  2. 1.过拟合欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）。 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 2.梯度消失梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\b

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：488448
    • 提供者：weixin_38500117

  1. 《动手学深度学习》Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. Task04 ：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 1.机器翻译及相关技术 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 步骤： 1.读取数据 2.数据预处理 3.分词：将字符串变成单词组成的列表 4.建立词典：将单词组成的列表变成单词id组成的列表 5.Encoder-Decoder：

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：1048576
    • 提供者：weixin_38501045

  1. 注意力机制和Seq2seq模型

  2. Attention Mechanism 注意力机制借鉴了人类的注意力思维方式，以获得需要重点关注的目标区域     在 编码器—解码器（seq2seq) 中，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。解码器输入的语境向量(context vector)不同，每个位置都会计算各自的 attention 输出。 当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。     

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：96256
    • 提供者：weixin_38713167

  1. 深度学习d4：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. 机器翻译 指将一段文本从一种语言自动翻译到另一种语言 读取和预处理数据 # 将一个序列中所有的词记录在all_tokens中以便之后构造词典，然后在该序列后面添加PAD直到序列 # 长度变为max_seq_len，然后将序列保存在all_seqs中 def process_one_seq(seq_tokens, all_tokens, all_seqs, max_seq_len): all_tokens.extend(seq_tokens) seq_tokens += [EOS]

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：407552
    • 提供者：weixin_38727567

  1. 【人工智能学习】【十三】注意力机制与Seq2Seq模型

  2. 问题来源 Encoder-Decoder模型可以根据Encoder产生的信息ccc来作为Decoder的input来进行机器翻译，ccc是通过Encoder计算出来的，包含了被翻译内容的所有信息。但是通常某个词的翻译只和被翻译内容的一部分信息有关，比如“我爱做饭。”，翻译成”I love cooking.”，cooking的翻译只和”做饭”有关。还有其他的例子，比如某个词的翻译依赖于前面某些信息，让机器做一个阅读理解题之类的。对于短句来讲，Attention的有点不明显，但如果句子比较长，语义编

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：384000
    • 提供者：weixin_38657353

  1. Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer学习笔记

  2. 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 import sys sys.path.append(’/home/kesci/input/d2l9528/’) import collections import d2l import zipfile from d2l.data.base import Vocab import t

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：93184
    • 提供者：weixin_38509504

  1. deeplearning_class4:机器翻译、注意力机制与seq2seq模型

  2. 1 机器翻译 这一部分由于资源包不全，笔者没有进行过多学习，借助腾讯AI平台 2 注意力机制 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。本文通过文本情感分析的案例，解释了自注意力机制如何应用于稀疏文本的单词对表征加权，并有效提高模型效率。 2.1 注意

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：126976
    • 提供者：weixin_38737635

  1. 深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）

  2. 深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）一、机器翻译1、机器翻译概念2、数据的处理3、机器翻译组成模块（1）Encoder-Decoder框架（编码器-解码器）（2）Sequence to Sequence模型（3）集束搜索（Beam Search）（ⅰ）简单贪心搜索（greedy search）（ⅱ）维特比算法（ⅲ）维特比算法二、注意力机制框架和Seq2seq模型1、注意力机制的引入2、注意力机制框架3、两个常用的注意力层（1）点积注意力（The d

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：533504
    • 提供者：weixin_38691006

  1. Task04:机器翻译及相关技术/注意力机制与Seq2seq模型/Transformer

  2. 1.机器翻译 机器翻译(MT)是将一个句子 x 从一种语言( 源语言 )转换为另一种语言( 目标语言 )的句子 y 的任务。 机器翻译的大致流程就是根据输入的文本，神经网络开始学习和记忆，这个就是所谓的Encoder编码过程；然后根据自己的记忆，把文本一一翻译出来，这个就是所谓的Decoder解码过程。 机器翻译的基本流程如下： 文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以tab键分割。获取文本，清洗。 分别建立字典，一个english，一个f

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：403456
    • 提供者：weixin_38693589

  1. 机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

  2. 机器翻译及相关技术： 解决RNN固定长度输出问题 翻译机制编码器和解码器机制 #编码器和解码器是分别对应输入和输出序列的两个神经网络，我们通常会在输入序列和输出序列后面附上一个特殊字符''  #(end of sequence)表示序列的终止，在测试模型时，一旦输出''就终止当前的序列输出  x=torch.tensor([[[1,1,1],                                     [1,1,1]],                  [[1,1,1],    

  3. 所属分类：其它

    • 发布日期：2021-01-06
    • 文件大小：29696
    • 提供者：weixin_38745003

  1. 《动手学习深度学习》之二：注意力机制和Seq2seq模型（打卡2.2）

  2. 2.注意力机制和Seq2seq模型 2.1.注意力机制 2.1.1.概念 2.1.2.框架 •不同的attetion layer的区别在于score函数的选择，在本节的其余部分，我们将讨论两个常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention；随后我们将实现一个引入attention的seq2seq模型并在英法翻译语料上进行训练与测试。 import math import torch import torch.nn

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：793600
    • 提供者：weixin_38732343

  1. 《动手学深度学习PyTorch版》打卡_Task4，机器翻译及相关技术，注意力机制与Seq2seq模型

  2. 最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程，机器翻译及相关技术，注意力机制与Seq2seq模型做下笔记。 机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 使用Encoder-Decoder框架： 实现一个Encoder类 class Encoder(nn.Module): def

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：307200
    • 提供者：weixin_38517212
« 12 »