DeBERTa：注意力分散的增强解码的BERT 这个软件库的正式实施 消息 2/03/2021 DeBERTa v2代码和900M，1.5B现在在这里。这包括用于我们的SuperGLUE单模型提交并达到89.9的1.5B模型，而人类基线为89.8。您可以在我们的找到有关此提交的更多详细信息 v2的新功能 词汇在v2中，我们使用了根据训练数据构建的大小为128K的新词汇。代替GPT2分词器，我们使用词器。 nGiE（nGram诱导输入编码）在v2中，除了第一个转换器层之外，我们还使用了额外

变形的ViT 将可变形的多头注意力应用于ViT架构 待办事项清单： 完成日志记录代码和wandb日志记录 实施timm版本（用于224x224 16补丁尺寸图像的执行器和变压器） 代码和测试变形注意 变压器 演员 编码和测试本地感知的初始化 变压器 演员 编码和测试DeBERTa注意 变压器 演员 用法 结果 用法 链接 （可变形的多尺度注意） cp pc注意） （可识别位置的初始化） （执行器tensorflow实现） 库） 日志记录）