卡伯特 *，*，，，，， ClipBERT的官方PyTorch代码，这是一个有效的框架，可用于图像文本和视频文本任务的端到端学习。 它以原始视频/图像+文本作为输入，并输出任务预测。 ClipBERT是基于2D CNN和转换器设计的，并使用稀疏采样策略来实现高效的端到端视频和语言学习。 在此存储库中，我们支持以下任务的端到端预培训和微调： 对COCO和VG字幕进行图像文本预训练。 在MSRVTT，DiDeMo和ActivityNet字幕上进行文本到视频检索的微调。 在TGIF-QA和MSR