UniLM 预训练的自然语言理解（NLU）和生成（NLG）任务模型 UniLM系列： （ v1NeurIPS'19 | v2ICML'20 ）：语言理解和生成的统一预培训 （ new ）：用于语言理解和生成的多语言/跨语言预训练模型 （ v1NeurIPS'20 ）：用于语言理解和生成的小型预训练模型 （ v1KDD'20 | v2 ）：用于文档理解（例如，扫描的文档，PDF等）的多模式（文本+布局/格式+图像）预训练 ：序列到序列微调工具包 （ NEW ）：带预训练的跨语言编码