[发明专利]一种数据倾斜处理方法、装置、终端设备及存储介质

权利要求书

1.一种数据倾斜处理方法，其特征在于，包括以下步骤：

基于预设的抽样算法，对数据进行抽样以获得等概率的样本数据，并通过数据的累加计算获得每一value所占空间的大小；

利用数据倾斜检测模型将所述样本数据划分为倾斜数据、非倾斜数据；

将所述非倾斜数据分配至预设的Hash分区，并基于动态分配算法将所述倾斜数据动态分配到各个存储分区中，以均衡Spark负载。

2.如权利要求1所述的数据倾斜处理方法，其特征在于，所述预设的抽样算法，包括：

从总量为A的中间数据中抽取K个样本数据；其中，K小于A；

将抽取出的第1个至第K个所述样本数据放入样本数组中；

依次遍历所述中间数据中的第K+1个数据，以使所述样本数组中的第x个元素的选中概率为k/x，等概率1/k地替换所述样本数组中的元素。

3.如权利要求1所述的数据倾斜处理方法，其特征在于，所述基于动态分配算法将所述倾斜数据动态分配到各个存储分区中，具体为：

在利用所述数据倾斜检测模型识别出所述倾斜数据之后，将所述倾斜数据分配至map任务；

通过所述map任务进程拆分并生成中间输出数据；

基于所述动态分配算法将所述中间输出数据分配到至少一个reduce任务中。

4.如权利要求1或3所述的数据倾斜处理方法，其特征在于，所述动态分配算法，用于将所述数据倾斜检测模块检测到的所述倾斜数据分配给当前负载最小的Reducer。

5.如权利要求1所述的数据倾斜处理方法，其特征在于，所述利用数据倾斜检测模型将所述样本数据划分为倾斜数据、非倾斜数据，具体为：

设表示负载大小，表示的第j个value值，则

负载平均值为：

测量总负载平衡水平的标准偏差：

通过偏差系数测量负载平衡：

计算用于反映初始集群集合的数据倾斜范围的标准差：

度量所有集群集合的总体偏差：

以预设的中间值w与FoD的比较结果判断数据的倾斜程度，从而将所述样本数据划分为倾斜数据、非倾斜数据；其中，w为预设的中间值。

6.一种数据倾斜处理装置，其特征在于，包括：

数据抽样模块，用于基于预设的抽样算法，对数据进行抽样以获得等概率的样本数据，并通过数据的累加计算获得每一value所占空间的大小；

数据划分模块，用于利用数据倾斜检测模型将所述样本数据划分为倾斜数据、非倾斜数据；

数据分配模块，用于将所述非倾斜数据分配至预设的Hash分区，并基于动态分配算法将所述倾斜数据动态分配到各个存储分区中，以均衡Spark负载。

7.如权利要求6所述的数据倾斜处理装置，其特征在于，所述预设的抽样算法，包括：

从总量为A的中间数据中抽取K个样本数据；其中，K小于A；

将抽取出的第1个至第K个所述样本数据放入样本数组中；

依次遍历所述中间数据中的第K+1个数据，以使所述样本数组中的第x个元素的选中概率为k/x，等概率1/k地替换所述样本数组中的元素。

8.如权利要求6所述的数据倾斜处理装置，其特征在于，所述数据分配模块，还用于：

在利用所述数据倾斜检测模型识别出所述倾斜数据之后，将所述倾斜数据分配至map任务；

通过所述map任务进程拆分并生成中间输出数据；

基于所述动态分配算法将所述中间输出数据分配到至少一个reduce任务中。

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的数据倾斜处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的数据倾斜处理方法。