This is a basic GA for optimizing multimodel function

神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE

Google：One Model To Learn Them All，一个模型什么都能学。

我正在参加天池上的一个竞赛，刚开始用的是DenseNet121但是效果没有达到预期，因此开始尝试使用模型融合，将Desenet和Xception融合起来共同提取特征。 代码如下： def Multimodel(cnn_weights_path=None,all_weights_path=None,class_num=5,cnn_no_vary=False): ''' 获取densent121,xinception并联的网络 此处的cnn_weights_path是个列表是densenet