[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、计算机设备及存储介质，所述方法包括：中心服务器获取客户端发送的基础任务信息，并采用取模运算的方式对基础任务数据进行分片，并将分片后的数据和处理指令作为目标任务信息发送给节点服务器执行，实现了将数据量大的任务合理分发到分布式节点服务器上执行，提高了数据处理效率。节点服务器在接收到目标任务信息后，根据当前节点服务器的运行状态，计算能处理的条数阈值，并对超出条数阈值的任务进行分割，通过线程池的方式执行分割后的任务数据，并将执行结果返回给中心服务器，使得节点服务器可以根据自身运行状态来动态设置条数阈值，并使用多线程进行处理，提高了数据处理过程中的稳定性和处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着社会的发展和人们生活水平的提高，越来越多的人开始关注各种保险业务，保险领域涉及的业务面较广，随着保单系统里面的记录越来越多，保单系统中的数据量变得异常庞大。

在保单系统中，由于保单数据庞大，常常需要针对百万级别以上的数据进行多种指令处理，一般通过调用存储过程执行批次任务的方式来完成。比如保单系统中续期缴费的分单模块中的批处理任务。

批次任务在执行的过程中主要是查询数据库大表中的数据，然后再根据查询出来的大批量数据循环计算，在计算某一条数据的时候又会查询数据库某些大表数据，这种计算即便是在高性能的存储过程里仍然需要花费很长时间，通常几百万数据量的存储过程数据计算大约3个小时左右，这导致了针对这种大数据量的批次任务进行数据处理时的处理效率低得问题。

发明内容

基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备及存储介质，以解决当前大数据量的数据处理时处理效率低的问题。

一种数据处理方法，包括中心服务器执行的如下步骤：

获取客户端发送的基础任务信息，其中，所述基础任务信息包括基础任务数据和所述基础任务数据对应的处理指令；

采用取模运算的方式，按照预设的分片数目N对所述基础任务数据进行分片，得到N个基础分片数据，其中，N为正整数；

将所述基础分片数据和所述处理指令作为目标任务信息；

按照预设的负载均衡分配方式，从节点服务器集合中选取目标节点服务器，并将所述目标任务信息分配给所述目标节点服务器执行，其中，所述节点服务器集合包含预设数量的节点服务器；

接收所述目标节点服务器发送的执行结果，并对所述执行结果进行汇总，得到目标结果；

将所述目标结果发送给所述客户端。

一种数据处理方法，包括节点服务器执行的如下步骤：

接收中心服务器发送的目标任务信息，所述目标任务信息包括基础分片数据和处理指令；

计算所述基础分片数据的数据记录的条数；

获取中央处理器型号I₁、内存型号I₂、中央处理器当前使用率P₁和内存当前使用率P₂，并按照如下公式计算可处理的条数阈值S：

其中，J₁为所述中央处理器型号I₁对应的预设权值，J₂为所述内存型号I₂对应的预设权值；

若所述条数大于所述条数阈值，则按照预设的维度，对所述基础分片数据进行分割，得到K个目标分片数据，其中，K为正整数；

使用线程池的方式，对K个所述目标分片数据执行所述处理指令，得到执行结果；