通用深度学习推理服务 可在生产环境中快速上线由TensorFlow，PyTorch，Caffe框架训练出的深度学习模型。 dl_inference是58同城推出的通用深度学习推理服务，使用dl_inference只需将模型文件放在指定目录然后启动服务就可以进行推理请求调用。dl_inference当前支持TensorFlow，PyTorch和Caffe模型，提供GPU和CPU两种布置方式，并且实现了模型多例程部署时的负载均衡策略，支持线上海量推理请求。 dl_inference具备的功能如下