Internet上多媒体数据传输的Swift增长，需要从文本，图像，音频和视频的集合中进行多模式摘要（MMS）。 在这项工作中，我们提出了一种提取式多模式摘要方法，该方法可以在给定与特定主题相关的一组文档，图像，音频和视频的情况下自动生成文本摘要。 关键思想是弥合多模式内容之间的语义鸿沟。 对于音频信息，我们设计了一种选择性使用其转录的方法。 对于视觉信息，我们使用神经网络学习文本和图像的联合表示。 最后，通过对子模块功能进行预算优化，最大限度地提高了显着性，非冗余性，可读性和覆盖范围，所有多模