文件名称:
【Spark2运算效率】第三节 影响生产集群运算效率的原因之资源缺乏
开发工具:
文件大小: 64kb
下载次数: 0
上传时间: 2021-01-20
详细说明:【Spark2运算效率】【Spark2运算效率】第三节 影响生产集群运算效率的原因之资源缺乏前言问题概述调整办法结语跳转
前言
面对复杂的业务问题,以及日益增多的需求,我们开发的脚本也越来越多,集群承载的计算量也越来越大,为了方便管理,很多企业引进或者自研出了适配的调度系统。
本节的调优办法要根据自身公司调度系统的特点,进行分析后再做出相应的调试(调优一方面追求单个作业的高效性,也要使得整体作业批次的执行时长被压缩,本节是从整体作业批次的角度来分析运行效率的)。
问题概述
以市面现有的一些开源系统中较常见的Oozie举例,其提供了定时提交任务功能以外,还能够设置作业前后置依赖,将其与Hue相集
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.