文件名称:
基于迭代填充的内存计算框架分区映射算法
开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2021-03-07
详细说明：针对内存计算框架 Spark 在作业 Shuffle 阶段一次分区产生的数据倾斜问题，提出一种内存计算框架的迭 代填充分区映射算法( IFPM) 。首先，分析 Spark 作业的执行机制，建立作业效率模型和分区映射模型，给出作业执行 时间和分配倾斜度的定义，证明这些定义与作业执行效率的因果逻辑关系; 然后，根据模型和定义求解，设计扩展式 数据分区算法( EPA) 和迭代式分区映射算法( IMA) ，在 Map 端建立一对多分区函数，并通过分区函数将部分数据填 入扩展区内，在数据分布局部感知后再执行扩展区迭代式的多轮数据分配，根据 Ｒeduce 端已分配数据量建立适应性 的扩展区映射规则，对原生区的数据倾斜进行逐步修正，以此保障数据分配的均衡性。实验结果表明，在不同源数据 分布条件下，算法均提高了作业 Shuffle 过程分区映射合理性，缩减了宽依赖 Stage 的同步时间，提高了作业执行效率。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
