[发明专利]一种分布式处理订单大数据的方法及系统

权利要求书

1.一种分布式处理订单大数据的方法，其特征在于，所述方法包括以下步骤：

步骤S1、订单数据清理；

步骤S2、待处理数据量统计；

步骤S3、对订单数据进行分组模块分发任务；

步骤S4、在分组模块的任务节点进行业务处理；

步骤S5、汇总任务节点，接收任务节点的结果。

2.根据权利要求1所述的一种分布式处理订单大数据的方法，其特征在于：所述步骤S1进一步具体为：收集下单并付款的用户订单数据，过滤用户下单未付款的订单数据，分析支付状态为已付款的订单数据。

3.根据权利要求1所述的一种分布式处理订单大数据的方法，其特征在于：所述步骤S2进一步具体包括以下步骤：

步骤S21、经过订单数据清理，读取待处理的数据量，执行sql语句，得到总数据量；

步骤S22、读取asc字符集正排序第一条已付款的订单ID，为第一条已经付款的订单ID；

步骤S23、读取desc数据表倒序第一条已付款的订单ID，为最后一条已经付款的订单ID。

4.根据权利要求1所述的一种分布式处理订单大数据的方法，其特征在于：所述步骤S3进一步具体为：得到总数据量、第一条已付款订单ID和最后一条已付款订单ID后，系统对这些订单数据进行分组，结合可分配任务的任务节点数量，进行任务分发。

5.根据权利要求1所述的一种分布式处理订单大数据的方法，其特征在于：所述步骤S4进一步具体为：每个任务节点收到分组模块执行区间的起始计算编号和终止计算编号，读取本节点需要负责的数据，循环执行，完成所有需处理的业务，将得到的结果向汇总节点上报。

6.根据权利要求1所述的一种分布式处理订单大数据的方法，其特征在于：所述步骤S5进一步具体为：汇总节点接收各任务节点统计的数据，然后根据步骤S4进行处理，将处理后的结果重新进行整合，得到需要的结果。

7.一种分布式处理订单大数据的系统，其特征在于：包括清理模块、统计模块、分发模块、处理模块和汇总模块，所述清理模块，即订单数据清理；所述统计模块，即待处理数据量统计；所述分发模块，即对订单数据进行分组模块分发任务；所述处理模块，即在分组模块的任务节点进行业务处理；所述汇总模块，即汇总任务节点，接收任务节点的结果。

8.根据权利要求7所述的一种分布式处理订单大数据的系统，其特征在于：所述清理模块进一步具体为：收集下单并付款的用户订单数据，过滤用户下单未付款的订单数据，分析支付状态为已付款的订单数据。

9.根据权利要求7所述的一种分布式处理订单大数据的系统，其特征在于：所述统计模块进一步包括：执行单元、第一读取单元和第二读取单元，所述执行单元，即经过订单数据清理，读取待处理的数据量，执行sql语句，得到总数据量；所述第一读取单元，即读取asc字符集正排序第一条已付款的订单ID，为第一条已经付款的订单ID；所述第二读取单元，即读取desc数据表倒序第一条已付款的订单ID，为最后一条已经付款的订单ID。

10.根据权利要求7所述的一种分布式处理订单大数据的系统，其特征在于：所述分发模块进一步具体为：得到总数据量、第一条已付款订单ID和最后一条已付款订单ID后，系统对这些订单数据进行分组，结合可分配任务的任务节点数量，进行任务分发。

11.根据权利要求7所述的一种分布式处理订单大数据的系统，其特征在于：所述处理模块进一步具体为：每个任务节点收到分组模块执行区间的起始计算编号和终止计算编号，读取本节点需要负责的数据，循环执行，完成所有需处理的业务，将得到的结果向汇总节点上报。

12.根据权利要求7所述的一种分布式处理订单大数据的系统，其特征在于：所述汇总模块进一步具体为：汇总节点接收各任务节点统计的数据，然后根据处理模块进行处理，将处理后的结果重新进行整合，得到需要的结果。