主要介绍了Spark处理数据排序问题如何避免OOM,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterable 在内存中是一个指针，不占内存，而list是一个容器，占用内存，如果Iterable 含有元素过多，那么极易引起OOM val cidAndSidCountGrouped: RDD[(Long,

错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterable 在内存中是一个指针，不占内存，而list是一个容器，占用内存，如果Iterable 含有元素过多，那么极易引起OOM val cidAndSidCountGrouped: RDD[(Long,