文件名称:
paddle-operator:利用EDL和Volcano的Kubernetes进行弹性深度学习培训-源码
开发工具:
文件大小: 180kb
下载次数: 0
上传时间: 2021-03-19
详细说明:桨式操作器
桨操作者目前正在利用EDL和Volcano项目。
EDL: :
火山: :
带有K8S Operator的EDL主要简化了分布式培训程序。通过检查点的能力,EDL可以容忍培训过程中的工人错误,从而使培训过程中的工人数量变得灵活。通过无服务器模式,整个培训任务可以从数量相对较少的工人开始。当群集资源足够时,请扩大整个培训任务中的工作人员数量,缩短作业启动时间,并尽快查看第一次迭代的结果。同时,通过在线/离线服务联合部署提高了集群的整体利用率,并提高了研发效率。
在调度程序级别,Volcano中的帮派调度用于整体发送任务,但是可以随时增加或减少工人数量。在这种情况下,训练仍然可以完全收敛。 EDL已在Wide&Deep模型和xDeepFM模型上得到验证。
在线/离线服务联合部署的能力反映在运行各种在线服务的生产集群中,通常有必要预留多余的资源来应对用户请求的突然增加。我们希望
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.