GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf承载每天万级任务的调度系统架构是

文件名称: GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf

所属分类: Hadoop

开发工具:

文件大小: 13mb

下载次数: 0

上传时间: 2019-07-07

提供者: odail*****

下载 (13mb)

不能下载？报告错误

详细说明：承载每天万级任务的调度系统架构是如何设计的分布式任务调度系统如何设计？开源分布式任务调度系统介绍GGIAC 主办方:msp4oes 目前使用 EasySchedulerl的公司部分统计) Q雪球鳳凰金融 s 嘀嗒出行 fengjr. com 水滴互助 Vanguard* 华润万家 y速快团 e Aisino|凹败科辣航天信息半云利技环球易购 bwin. cn CiC 四万伟业 efonsoft Gobalegrow E-Commerce 8 育学园 EB 我们一起长大东信北邮微未碳原子 Anewaver Q Enable Fin Tech 盒哗啦啦q9 c写&5 软国新维数联圈外 GGIAC 主办方:msp4oes 分布式任务调度背景及演进任务调度系统在大数据平台是一个核心基础设施,数据处理常常依赖链条长 Crontab Now Linux、Java等都提供主流 Azkaban、 Airflow N年前利弊无缝接入 Hadoop 简单定时需求复杂工作流灵活配置配置管理繁琐实时务监控失败基本靠手工失败策略选择任务管理混乱,出错难査找任务依赖关系难编排 GGIAC 主办方:msp4oes 为什么要研发 EasyScheduler? EasyScheduler Azkaban Airflow 稳定性去中心化的多 Master:和多 Worker 是单点故障单个Web和调度程序组合节点单一调度程序不需要(本身就支持HA) DB Celery /Dask/Mesos Load Balancer DB HA额外要求任务队列机制,单个机器上可调度的任务数量可以灵活任务太多时会卡死服务器任务太多时会卡死服务器过载处理配置,当任务过多时会缓存在任务队列中,不会造成机器卡死易用性任务状态、任务类型、重试次数、任务运行机器、可视只能看到任务状态不能直观区分任务类型 DAG监控界面化变量等关键信息一目了然是可视化流程定义所有流程定义操作都是可视化的,通过拖拽任务来绘制通过自定义DS绘制DAG并打包上传通过ptom代码来绘制DAG使用不便.特 DAG配置数据源及资源。同时对于第三方系统,提供别是对不会写代码的业务人员基本无法使用 api方式的操作。键部署集群化部署复杂集群化部署复杂快速部署功能是否能暂停和恢支持暂停,恢复操作只能先将工作流杀死再重新运行只能先将工作流杀死再重新运行支持否 easyscheduler上的用户可以通过租户和hado)户实是否支持多租户现多对一或一对一的映射关系,这对大数据作业的调度是非常重要的。支持传统的she任务,同时支持大数据平台任务调度:|shel、gobn、 hadoopJava、java、he| BashOperator.、 DummyOperator 任务类型 MR、 Spark,、sQu(mysq、 postgresql、hMe、 sparks、卜、p、sark、 hdfsToTeradata、 MySqlOperator、 HiveOperator、 thon、 Procedure、 Sub process teradata ToHdfs Emailoperator. HttpopeRatoR 契合度支持大数琚作业 rk, hive, mr的调度,同时由于支持多由于不支持多租户,在大数据平合业务|由于不支持多租户,在大数据平台业务使用租户,与大数据业务更加契合使用不够灵活不够灵活扩展性是否支持自定义是任务类型是否支持集群扩是是,但是复杂是,但是复杂调度器使用分布式调度,整体的调度能力会随便集群的 Executor.水平扩展 Executor水平扩展展规模线性增长, Maste和 Worker支持动态上下线 GGIAC 主办方:msp4oes 任务调度技术需求 0 可视化DAG 简单易操作实时查看运行状态 04 每天数万任务运行任务自依赖 6(02 流程依赖等调用高可用流程可容结能力失败重试、回滚、转移 05 简单可维护任务写志告警机制 03 便于排若车富的任务类型提醒跨语言自定义插件机制 Olo 4。后 GGIAC 主办方:msp4oes EasyScheduler整体架构 RestA接口调用工作流元数据管理 RPC查询任务日志信息 Masteserver MasterServer MasterServer Distributed Command Distributed Command Quartz Quartz Scanner 服务注册、监听、心跳、_A Command监听容错、分布式锁 Scheduler Scheduler Scheduler ZK Cluster Task Queue DAG切分,监控任务状态 DB告警 Alert NorkerServer WorkerServer WorkerServer 服务注册、监听、心跳、分布式锁 LogRunner LogRunner LogRunner Worker- Worker- Worker- 更新Task任务状态 TaskSchedule Thread TaskScheduleThread TaskScheduleThread SUB_FLOW PROCEI MR PYTHON DEPENDENT GGIAC 主办方:msp4oes EasyScheduler名词解释有向无环图,简称DAG 流程定义流程实例依赖子工作流优先级 spak任务失败策略 MR ·补数 She任务 mapreduce务 sq任务 Python任务 Procedure任务 DAG示例 GGIAC 主办方:msp4oes EasyScheduler主要目标 Task以DAG形式关联,实时监控任务的状态支持 Shell mr、 Spark、SQL、依赖等10多种任务类型工作流可定时、依赖、手动、暂停/停止/恢复,失败重试/警、从指定节点恢复、K训任务等操作工作流优先级、任务优先级,全局参数及局部自定义参数任务超时告警/失败完善的系统服务监控支持补数、支持多租户、日志在线查看及资源在线管理支持每日十万数据量级任务稳定运服务去中心化 GGIAC 主办方:msp4oes EasyScheduler架构设计去中心化vS中心化 Server Server Master PK LDC lave Server Server Server Server

(系统自动生成,下载前可以参看下载内容)