[发明专利]稽核数据并行加工方法及系统

说明书

本申请公开了稽核数据并行加工方法及系统，通过管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池；管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与线程池连接的负载端服务器；负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格。通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

技术领域

本申请涉及数据加工技术领域，尤其涉及一种稽核数据并行加工方法及系统。

背景技术

目前将业务数据进行加工，填充至指定的送审核表格中后发送至审核机构进行审核，一般采用单线程的半自动填充的方式，即当前任务处理完毕之后才轮到下一任务，导致数据加工送审核的效率低下。

申请内容

本申请实施例提供了一种稽核数据并行加工方法及系统，旨在解决现有的技术方法中将业务数据进行加工，填充至指定的送审核表格中后发送至审核机构进行审核，一般采用单线程的半自动填充的方式，导致数据加工效率低下的问题。

第一方面，本申请实施例提供了一种稽核数据并行加工方法，其包括：

管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；

所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

负载端服务器根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

第二方面，本申请实施例提供了一种稽核数据并行加工系统，其包括管理服务器和负载端服务器，

所述管理服务器，用于接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池；

所述管理服务器，还用于根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器，用于接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

所述负载端服务器，还用于若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

所述负载端服务器，还用于根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

本申请实施例提供了一种稽核数据并行加工方法及系统。通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

附图说明