NLP旅程 全部在tensorflow 2.0中实现， 1.基础 2.书籍（ 代码：txqx） 图形模型手册。 深度学习。 神经网络和深度学习。 语音和语言处理。 3.论文 01）变压器纸 BERT：用于语言理解的深度双向变压器的预训练。 GPT-2：语言模型是无监督的多任务学习者。 Transformer-XL：Transformer-XL：超出固定长度上下文的注意力语言模型。 XLNet：用于语言理解的通用自回归预训练。 RoBERTa：稳健优化的BERT预训练方法。 D

带文本生成器的GPT2-Pytorch 更好的语言模型及其含义 我们的模型称为GPT-2（是的继承者），仅经过培训即可预测40GB的互联网文本中的下一个单词。 由于我们担心该技术的恶意应用，因此我们不会发布经过训练的模型。 作为负责任公开的一项实验，我们将发布一个供研究人员进行实验的以及一份。 来自 该存储库是有关Pytorch中带有压缩代码的文本生成器的简单实现GPT-2 原始曲目是 。 您也可以阅读有关gpt-2的论文， 。 为了理解更详细的概念，我建议您阅读有关变压器模型的论文。

伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更