文件名称:
ml-serving-template:通过消息队列独立为大型ml模型提供服务，以便与其他服务进行通信[正在开发中]-源码
开发工具:
文件大小: 102kb
下载次数: 0
上传时间: 2021-03-07
详细说明：ml服务模板
通过消息队列和kv存储独立服务大型ml模型，以与多种服务进行通信。
我认为我们很多人都习惯将训练有素的ML模型与其余逻辑一起放在Web应用程序内部进行推理。 通常，在启动应用程序后，您只需加载一次，然后在API处理程序函数内部运行smth，如预测。 当模型足够小（例如简单的图像分类器/检测器）和/或无需查询大量数据即可执行计算时，您可以继续这样做。 但是，当您尝试提供某些非常大的模型（例如某些经过修改的ResNets或现代的，问题就开始了，这些模型很容易占用1..10 Gb的RAM / vRAM。 或者您需要执行一些繁重的map-reduce操作。 在这种情况下，它可能变得太耗资源，无法与如此复杂的内容一起扩展您的应用程序。 因此，我提出了一个非常简单（显而易见）的解决方案-只是将繁重的模型与其余应用程序逻辑分离，并创建一个单独的推理服务，可以通过RPC从其他应用程序调用该
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
