[发明专利]数据重分布的处理方法和装置以及电子设备

说明书

本发明实施例提供了一种数据重分布的处理方法和装置以及电子设备，所述方法包括：获取待重分布数据的样本数据；确定所述样本数据中每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度；根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值；根据所述最优键值所对应的数据对所述待重分布数据进行重分布处理。以此，可保证最优键值的选取效率及准确率，进而提高数据重分布的处理效率及合理性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据重分布的处理方法和装置以及电子设备。

背景技术

现今，在大数据分析处理领域中，分布式系统已经成为各大数据公司的标配，在进行数据持久化过程中普遍采用列式存储策略，并通过支持的压缩算法对每一列进行压缩后存储。在分布式存储系统中，对于根据不同键值(列)重分布后的数据进行压缩会产生不同的压缩比，通过寻找最优的键值对数据进行重分布后压缩，可以取得意想不到的压缩效果。

现有键值寻优的方式可包括如下几种：

方式一，用户在待存储数据中抽样部分数据，观察样本数据分布，通过个人经验判断某一键值是否适合作为候选键值，然后根据候选键值对待存储数据进行重分布。

方式二，用户将待存储数据中的抽样数据从分布式集群下载到本地，再离线对所有键值的数据分布进行全遍历扫描，根据扫描结果选择候选键值，然后根据候选键值人工编写重分布程序返回到分布式集群，再对待存储数据进行重分布。

但是，在上述两种方式中，存在如下问题：

在方式一中，由于是基于人工抽样观察数据分布来选取候选键值，其引入的个人主观因素过多，最终选取的候选键值很可能在客观上并不是最优的，这种方式不但耗费人力，处理效率也相对较低，而且还会影响数据重分布过程的数据分布合理性及处理效率。

在方式二中，需要将抽样数据从分布式集群下载到本地，然后在离线状态下选取候选键值，在编写重分布程序后再反馈到线上的分布式集群，这样线上、线下之间多次数据交互，不但耗时且耗费网络资源；同时，这种全遍历数据的方法较为粗鲁，当数据中包含的键值个数较多时，对处理时效和计算资源的影响更为突出，处理效率明显降低。

此外，现有的数据重分布方案，并不能解决分布式系统在进行数据重分布过程中存在的数据倾斜问题。

发明内容

本发明提供了一种数据重分布的处理方法和装置以及电子设备，可高效且准确的选取出用于数据重分布处理的最优键值，进而提高数据重分布的处理效率及合理性。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种数据重分布的处理方法，包括：

获取待重分布数据的样本数据；

确定所述样本数据中每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度；

根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值；

根据所述最优键值所对应的数据对所述待重分布数据进行重分布处理。

第二方面，提供了一种数据重分布的处理装置，包括：

数据获取模块，用于获取待重分布数据的样本数据；

计算模块，用于确定所述样本数据中每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度；

最优键值选取模块，用于根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值；