[发明专利]稽核数据并行加工方法及系统

权利要求书

1.一种稽核数据并行加工方法，其特征在于，包括：

管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；

所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

负载端服务器根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

2.根据权利要求1所述的稽核数据并行加工方法，其特征在于，所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器之后，还包括：

在负载端服务器中已创建的存储表中增加一个数据来源标识字段；

负载端服务器获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表。

3.根据权利要求1所述的稽核数据并行加工方法，其特征在于，所述根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格，包括：

负载端服务器获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；

负载端服务器根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；

负载端服务器将步骤标识后的数据依序导入对应的目标表格。

4.根据权利要求1所述的稽核数据并行加工方法，其特征在于，所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格之后，还包括：

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

5.根据权利要求3所述的稽核数据并行加工方法，其特征在于，所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格，包括：

负载端服务器获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。