ml服务模板 通过消息队列和kv存储独立服务大型ml模型，以与多种服务进行通信。 我认为我们很多人都习惯将训练有素的ML模型与其余逻辑一起放在Web应用程序内部进行推理。 通常，在启动应用程序后，您只需加载一次，然后在API处理程序函数内部运行smth，如预测。 当模型足够小（例如简单的图像分类器/检测器）和/或无需查询大量数据即可执行计算时，您可以继续这样做。 但是，当您尝试提供某些非常大的模型（例如某些经过修改的ResNets或现代的，问题就开始了，这些模型很容易占用1..10 Gb的RA