[发明专利]基于分布式计算框架的全局排序输出系统及其方法

说明书

本发明涉及一种基于分布式计算框架的全局排序输出系统及其方法，采用分布式计算框架，其内设置有节点排序暂存模块、共识数据排序模块、数据同步输出模块。通过节点排序暂存模块用于数据排序，通过共识数据排序模块，将排序后的数据传递到下一个步骤，通过数据同步输出模块，将数据输出至目标库表。由此，各个节点通过共识轮询全局数据排序，不需要依赖分布式文件系统进行全局排序，简化了系统的复杂度。不需要将数据集中起来处理，降低了内存、CPU等资源消耗。整个排序过程耗时少，处理效率高，能更快的写入目标库表，提高用户体验。减少网络消耗，降低分布式计算框架资源消耗。

技术领域

本发明涉及一种排序输出系统及其方法，尤其涉及一种基于分布式计算框架的全局排序输出系统及其方法。

背景技术

在现有分布式计算框架中，默认结果输出到目标库表是无序的，如果用户设定了排序规则也只是在各个节点内进行数据结果排序，最后输出也是各个节点的无序输出到目标库表。

同时，在数据处理过程中需要依赖分布式文件系统进行数据汇聚排序，不仅增加组件而且汇聚及输出效率比较低。

具体来说，主要体现在以下几个方面的缺点：

1、各个节点首先需要将计算完成的数据，通过分布式文件系统将各个节点数据汇集成一个临时文件。此方法对数据量，网络，分布式文件系统性能异常敏感，某一点有问题就会造成性能极度下降。

2、文件汇集完成后需要读取文件内容进行排序，导致分布式文件系统压力巨大，资源消耗多，时间长。

3、排序完成后，分布式计算节点中某个节点需要重新通过分布式文件系统读取排序后的汇聚文件。这样会导致网络及分布式计算节点资源消耗大，性能低下，耗时长。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于分布式计算框架的全局排序输出系统及其方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于分布式计算框架的全局排序输出系统及其方法。

本发明的基于分布式计算框架的全局排序输出系统，其中：采用分布式计算框架，其内设置有节点排序暂存模块，用于与本地文件系统通讯；还包括有共识数据排序模块；用于在排序完成后批量输出数据量的数据交给下个节点，还包括有数据同步输出模块，用于将输出节点输出至目标库表。

基于分布式计算框架的全局排序输出方法，其中：

步骤一，通过节点排序暂存模块用于数据排序；

步骤二，通过共识数据排序模块，将排序后的数据传递到下一个步骤；

步骤三，通过数据同步输出模块，将数据输出至目标库表。

进一步地，上述的基于分布式计算框架的全局排序输出方法，其中，所述步骤一中，通过节点排序暂存模块，将各个节点内的数据排序并保存到节点所在本地文件系统。

更进一步地，上述的基于分布式计算框架的全局排序输出方法，其中，所述步骤一中，各个节点依赖分布式计算框架数据读取机制，读取属于自己的数据块，采用边读取边存储的方式，通过临时文件暂存于各个节点本地文件系统，然后加载暂存的临时文件至节点内存，根据用户设定的排序字段进行增序或降序排序，将排序完的数据保存为另一份临时文件，保存至节点本地文件系统。

更进一步地，上述的基于分布式计算框架的全局排序输出方法，其中，所述步骤二中，将分布式计算框架中参与计算的各个节点，通过节点共识的方法，轮番取出批量输出数据量的数据，交给下个节点；

同时，本节点也取出相同量数据进行排序，排序完成后取出批量输出数据量的数据交给下个节点；

循环直至最后一个节点完成后，将最终结果广播至每个节点；