1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-atte

目录1. Seq2seq2. Transformer3. Self-Attention 机制详解4. Positional Encoding5. Layer Normalization6. Transformer Encoder 与 Decoder7. 总结Others 最近在家听贪心学院的NLP直播课。放到博客上作为NLP 课程的简单的梳理。 简介： ELMo等基于深度学习的方法可以有效地学习出上下文有关词向量，但毕竟是基于LSTM的序列模型，必然要面临梯度以及无法并行化的问题，即便结合使用注

写在前面 本文首发于公众号：NewBeeNLP 这一期魔改Transformers主要关注对原始模型中位置信息的讨论与优化， Self-Attention with RPR from Google，NAACL2018 Self-Attention with SPR from Tencent，EMNLP 2019 TENER from FDU Encoding Word Order in Complex Embedding，ICLR2020 1、Self-Attention with R