状态：存档（代码按原样提供，预计无更新） gpt-2 论文代码和模型。 您可以在我们的， 和阅读有关GPT-2及其分阶段发布的。 我们还供研究人员研究他们的行为。 *请注意，由于错误（在我们以前的博客文章和论文中），我们的原始参数计数是错误的。 因此，您可能已经看到小型代表117M，中等代表345M。 用法 该存储库是研究人员和工程师尝试GPT-2的起点。 有关基本信息，请参见我们的。 一些警告 GPT-2模型的健壮性和最坏情况下的行为尚不为人所知。 与任何机器学习的模型一样，请针对您

NLP旅程 全部在tensorflow 2.0中实现， 1.基础 2.书籍（ 代码：txqx） 图形模型手册。 深度学习。 神经网络和深度学习。 语音和语言处理。 3.论文 01）变压器纸 BERT：用于语言理解的深度双向变压器的预训练。 GPT-2：语言模型是无监督的多任务学习者。 Transformer-XL：Transformer-XL：超出固定长度上下文的注意力语言模型。 XLNet：用于语言理解的通用自回归预训练。 RoBERTa：稳健优化的BERT预训练方法。 D