自我注意和卷积 该代码随附于 ， 和的论文发表于ICLR 2020）。 抽象的 将注意力机制整合到视觉中的最新趋势已导致研究人员重新考虑卷积层作为主要构建块的优势。 除了帮助CNN处理远程依赖关系之外，Ramachandran等人（英文）。 （2019）表明，注意力可以完全取代卷积，并在视觉任务上达到最先进的性能。 这就提出了一个问题：学到的注意力层的运作方式与卷积层的运作方式类似吗？ 这项工作提供了证据表明注意力层可以进行卷积，实际上，他们经常在实践中学会这样做。 具体来说，我们证明具有足够数