代码汇总变压器 基于通用变压器架构，使用神经网络对源代码进行自动汇总。 观看！ 细节 用于序列到序列建模的Transformer体系结构由一个编码器和一个解码器组成。 编码器和解码器具有几组层，每个层都有一个自我关注块和一个前馈块。 解码器层还具有一个编码器-解码器注意块，该块关注已处理的输入以及当前生成的输出。 通用变压器架构在整个编码器上使用相同的编码器层； 解码器也是如此。 这样可以减小模型的大小，并提高许多任务的准确性，包括具有算法性质的任务（例如，解释源代码）。 我使用Tenso