[发明专利]基于分布式计算框架的全局排序输出系统及其方法

权利要求书

1.基于分布式计算框架的全局排序输出系统，其特征在于：采用分布式计算框架，其内设置有节点排序暂存模块，用于与本地文件系统通讯，还包括有共识数据排序模块，用于在排序完成后批量输出数据量的数据交给下个节点，还包括有数据同步输出模块，用于将输出节点输出至目标库表；

所述节点排序暂存模块用于数据排序；

所述共识数据排序模块，将排序后的数据传递到下一个步骤，将分布式计算框架中参与计算的各个节点，通过节点共识的方法，轮番取出批量输出数据量的数据，交给下个节点；本节点也取出相同量数据进行排序，排序完成后取出批量输出数据量的数据交给下个节点；循环直至最后一个节点完成后，将最终结果广播至每个节点；由各个节点最终确认排序无误后，由发起确认的节点将结果传递至数据同步输出模块；

所述数据同步输出模块，将数据输出至目标库表。

2.根据权利要求1所述的基于分布式计算框架的全局排序输出系统，其特征在于：通过节点排序暂存模块，将各个节点内的数据排序并保存到节点所在本地文件系统。

3.根据权利要求1所述的基于分布式计算框架的全局排序输出系统，其特征在于：各个节点依赖分布式计算框架数据读取机制，读取属于自己的数据块，采用边读取边存储的方式，通过临时文件暂存于各个节点本地文件系统，然后加载暂存的临时文件至节点内存，根据用户设定的排序字段进行增序或降序排序，将排序完的数据保存为另一份临时文件，保存至节点本地文件系统。

4.根据权利要求1所述的基于分布式计算框架的全局排序输出系统，其特征在于：所述确认排序无误的实现方式为，各个节点事先将本节点数据，根据用户设定的排序规则进行排序，各个节点轮番参与排序时，根据排序顺序取前N条数据进行排序，最终排序由最后一个节点采用消息通知的方式，将排序结果广播至各个节点，各个节点收到本轮排序结果后进行排序结果校验，对排在本节点之前的数据根据用户设定的排序规则进行校验。

5.根据权利要求1所述的基于分布式计算框架的全局排序输出系统，其特征在于：通过共识数据排序结果，将需要输出的完整数据从各个节点同步至输出节点，由输出节点输出至目标库表；

所述共识数据排序为，数据同步输出模块，通过内存获取共识排序模块输出的最终共识数据排序结果，根据该排序结果，采用消息通知方式，通知各个节点，将排序结果中的完整数据通过消息传递的方式发送至本节点，

数据同步模块收到各个节点传递过来的完整数据，将完整数据整理完毕后输出至目标表。

6.根据权利要求5所述的基于分布式计算框架的全局排序输出系统，其特征在于：所述目标库表是由用户建立分布式计算任务时设定，目标库表包含关系型数据库、分布式文件系统。