注意不是所有你需要的，纯粹的注意力失去秩双成倍与深度。 ，（ 。 在这项工作中，我们发现纯粹的注意力相对于深度成倍地下降。 我们分析了MLP和跳过连接如何抵消这种衰减。 。 该存储库包含我们实验的代码。 要求 要安装工作环境： conda create --name rank-collapse python=3.8 conda activate rank-collapse pip install git+git://github.com/huggingface/transformers.