[发明专利]数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括中心服务器执行的如下步骤：

获取客户端发送的基础任务信息，其中，所述基础任务信息包括基础任务数据和所述基础任务数据对应的处理指令；

采用取模运算的方式，按照预设的分片数目N对所述基础任务数据进行分片，得到N个基础分片数据，其中，N为正整数；

将所述基础分片数据和所述处理指令作为目标任务信息；

按照预设的负载均衡分配方式，从节点服务器集合中选取目标节点服务器，并将所述目标任务信息分配给所述目标节点服务器执行，其中，所述节点服务器集合包含预设数量的节点服务器；

接收所述目标节点服务器发送的执行结果，并对所述执行结果进行汇总，得到目标结果；

将所述目标结果发送给所述客户端。

2.如权利要求1所述的数据处理方法，其特征在于，所述采用取模运算的方式，按照预设的分片数目N对所述基础任务数据进行分片，得到N个基础分片数据包括：

获取所述基础任务数据的数据记录的条数，并对每条所述数据记录进行顺序编号；

针对每条所述数据记录，使用该数据记录的编号对所述分片数目N进行取模运算，得到该数据记录的编号模；

将编号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础分片数据，得到N个所述基础分片数据。

3.如权利要求1所述的数据处理方法，其特征在于，所述接收所述目标节点服务器发送的执行结果，并对所述执行结果进行汇总，得到目标结果包括：

接收每个所述目标节点服务器发送的执行结果；

将每个所述执行结果存入到汇总表；

接收每个所述目标节点服务器发送的执行结果发送完成的消息，若检测到全部所述目标节点服务器均已发送该消息，则对所述汇总表中的执行结果进行排序，得到目标结果。

4.一种数据处理方法，其特征在于，所述数据处理方法包括节点服务器执行的如下步骤：

接收中心服务器发送的目标任务信息，所述目标任务信息包括基础分片数据和处理指令；

计算所述基础分片数据的数据记录的条数；

获取中央处理器型号I₁、内存型号I₂、中央处理器当前使用率P₁和内存当前使用率P₂，并按照如下公式计算可处理的条数阈值S：

其中，J₁为所述中央处理器型号I₁对应的预设权值，J₂为所述内存型号I₂对应的预设权值；

若所述条数大于所述条数阈值，则按照预设的维度，对所述基础分片数据进行分割，得到K个目标分片数据，其中，K为正整数；

使用线程池的方式，对K个所述目标分片数据执行所述处理指令，得到执行结果；

将所述执行结果发送给所述中心服务器。

5.如权利要求4所述的数据处理方法，其特征在于，所述按照预设的维度，对所述基础分片数据进行分割，得到K个目标分片数据包括：

计算所述条数与所述条数阈值的比值；

对所述比值进行向上取整运算，并将向上取整运算的结果作为分割片数K，其中，K为正整数；

按照所述分割片数对所述基础分片数据进行分割，得到K个所述目标分片数据。

6.如权利要求4所述的数据处理方法，其特征在于，使用线程池的方式，对K个所述目标分片数据执行处理指令，得到执行结果包括：

按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；

若所述目标分片数据的个数K大于所述线程数量Q，则从K个所述目标分片数据中选取Q个所述目标分片数据放入所述定长线程池，执行所述处理指令；

若监测到所述定长线程池中的任一个所述目标分片数据处理完成，则获取该目标分片数据的处理结果，并从未被选取的所述目标分片数据中选取一个目标分片数据，重新添加到所述定长线程池中执行所述处理指令，直到K个所述目标分片数据全部处理完成为止；

对K个所述目标分片数据的处理结果进行汇总，得到所述执行结果。