© 1999-2048 dssz.net 粤ICP备11031372号
[深度学习] Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
说明: 神经网络吸收信息的能力受限于其参数的数量。在这篇论文中,我们提出一种新类型的层——稀疏门控专家混合层(Sparsely-Gated Mixture-of-Experts(MoE)),它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络(feed-forward sub-networks,被称为专家(expert)),总共包含了多达数百亿个参数。一个可训练的门网络(gating network)可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE<yewei11> 在 上传 | 大小:544768