[发明专利]大数据排序方法、装置、设备及存储介质

说明书

本发明涉及数据分析领域，揭露一种大数据排序方法，包括：从预设的业务系统中进行数据采集，得到待排序数据，并生成待排序数据的数据表；将数据表进行分档，得到分档数据表；利用预设的并行排序模型对分档数据表中的每档数据进行档内排序，得到档位排序表；将档位数据表进行行转列操作，得到档位列数据表；将档位列数据表进行列转行操作，得到档位行数据表；将档位排序表与档位行数据表相关联，得到待排序数据的排序结果。本发明还涉及一种区块链技术，排序结果可存储在区块链节点中。本发明还提出一种大数据排序装置、设备以及介质。本发明可以实现对体量庞大的数据进行排序。

技术领域

本发明涉及数据分析领域，尤其涉及一种大数据排序方法、装置、设备及存储介质。

背景技术

当前，随着大数据信息处理技术的发展，通过利用大数据信息处理技术研究大数据排序方法，可以得到不同数据的真实情况及不同数据的发展规律。

但是，直接利用现有技术对体量为亿级的数据进行排序，需要消耗大量资源及时长，使得大数据排序的效率较低，进一步的，针对亿级量的数据排序由于数据体量过于庞大，无法准确实现对亿级量的数据进行排序。

发明内容

本发明提供一种大数据排序方法、装置、设备及存储介质，其主要目的是实现对体量庞大的数据进行排序。

为实现上述目的，本发明提供了一种大数据排序方法，包括：

从预设的业务系统中进行数据采集，得到待排序数据，并生成所述待排序数据的数据表；

将所述数据表进行分档，得到分档数据表；

利用预设的并行排序模型对所述分档数据表中的每档数据进行档内排序，得到档位排序表；

将所述档位数据表进行行转列操作，得到档位列数据表；

将所述档位列数据表进行列转行操作，得到档位行数据表；

将所述档位排序表与所述档位行数据表相关联，得到所述待排序数据的排序结果。

可选地，所述将所述数据表进行分档，得到分档数据表，包括：

获取所述分档数据表中的数据文本，根据预设的分档规则将所述数据文本进行分档，得到分档字段及每档对应的分档人数；

判断所述分档人数是否均匀分布；

若所述分档人数均匀分布，则将所述分档字段及所述数据文本汇总为所述分档数据表；

若所述分档人数不均匀分布，则将所述不均匀分布的档位对应的数据文本，重新分档，得到更新分档字段和更新分档人数，直至所述更新分档人数均匀分布，将所述更新分档字段及所述数据文本汇总为所述分档数据表。

可选地，所述利用预设的并行排序模型对所述分档数据表中的每档数据进行档内排序，得到档位排序表，包括：

提取所述分档数据表中每条数据的键值对，利用所述并行排序模型中的映射函数将所述键值对转化为映射键值对；

利用所述并行排序模型中的归约函数将所述映射键值对进行排序，得到所述档位排序表。

可选地，所述将所述档位数据表进行行转列操作，得到档位列数据表，包括：

利用预设的分割函数将所述档位数据表中的字段进行分割，得到分割字段；

再通过预设的行转列函数将所述分割字段进行行转列操作，得到档位列数据表。

可选地，所述将所述档位列数据表进行列转行操作，得到档位行数据表，包括：

利用预设的列转行函数对所述档位列数据表执行列转行操作，得到每个档位数据分布；