spark 少量key倾斜的join优化

背景

在使用spark join时，我们经常遇到少量key拥有大量的数据而导致的数据倾斜的问题，这导致了task任务数据处理非常不均匀而影响最终时效

少量key数据倾斜的join优化

这里有一个前提，join的另一边的表没有数据倾斜问题，也就是rdd2没有数据倾斜，然后处理的主要思路还是把这些倾斜的key单独抽取出来形成一个单独的rdd1_0，join的另一边也是把这些倾斜的key单独的抽取出来形成一个单独的rdd2_0，对于剩下的非倾斜的rdd1_1和rdd2_1，直接join即可，然后我们再来看怎么处理倾斜的rdd1_0，我们这里可以对rdd1_0加上一个随机数(0~n),然后对另一边的rdd2_0扩容n倍，由于rdd2_0只包含倾斜的key的数据，所以扩容n倍的内存消耗可以接受。

详细流程图如下所示：

参考文献： https://zhuanlan.zhihu.com/p/22024169