文件名称:
基于 RDD关键度的Spark检查点管理策略
开发工具:
文件大小: 384kb
下载次数: 0
上传时间: 2021-03-11
详细说明：Spark默认容错机制 由程序员设置检查点,并 利 用 弹 性 分 布 式 数 据 集 (resilientdistributeddataset,RDD)的血统(lineage)进行计算.在应用程序复杂度高､迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立 Spark执行模型､检查点模型 和 RDD 关键度模型的 基础上,提出一种基于关 键度的检查点管理 (criticalitycheckpointmanagement,CCM)策略,其中包括检查点设置算法､失效恢复算法和清理算法.其中检查点设置算法通过分析作业中 RDD的属性以及对作业恢复时间的影响,选择关键度大的 RDD 作为检查点存储;恢复算法根据各节点的计算能力做出决策,选择合适的节点执行恢复任务;清理算法在磁盘空间不足时,清除关键度较低的检查点.实验结果表明:该策略在略增加执行时间的情况下,能够选择有备份价值的RDD作为检查点,在节点失效时能够有效地降低恢复开销,提高节点的磁盘有效
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
