本文将介绍基于物品的协同过滤推荐算法案例在TDWSpark与MapReudce上的实现对比，相比于MapReduce，TDWSpark执行时间减少了66%，计算成本降低了40%。MapReduce为大数据挖掘提供了有力的支持，但是复杂的挖掘算法往往需要多个MapReduce作业才能完成，多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程，使得基于MapReduce的算法实现存在严重的性能问题。后起之秀Spark得益于其在迭代计算和内存计算上的优势，可以自动调度复杂的计算任务，避免中间结果的磁

本文将介绍基于物品的协同过滤推荐算法案例在TDWSpark与MapReudce上的实现对比，相比于MapReduce，TDWSpark执行时间减少了66%，计算成本降低了40%。MapReduce为大数据挖掘提供了有力的支持，但是复杂的挖掘算法往往需要多个MapReduce作业才能完成，多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程，使得基于MapReduce的算法实现存在严重的性能问题。后起之秀Spark得益于其在迭代计算和内存计算上的优势，可以自动调度复杂的计算任务，避免中间结果的磁