Spark默认容错机制 由程序员设置检查点,并 利 用 弹 性 分 布 式 数 据 集 (resilientdistributeddataset,RDD)的血统(lineage)进行计算.在应用程序复杂度高､迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立 Spark执行模型､检查点模型 和 RDD 关键度模型的 基础上,提出一种基于关 键度的检查点
