[发明专利]批量数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种批量数据处理方法，其特征在于，包括：

接收分段处理指令，将批量数据按照预设的划分队列划分为若干个片段化数据；每一个所述片段化数据中的数据量均包括自初始数据开始并至最末数据结束的单次最大处理量；

自数据库中获取错误信息记录表和运行状态记录表；所述运行状态记录表中包括至少一项历史运行记录项，每一项所述历史运行记录项包括完成一个所述批量数据的运行后的运行状态和运行记录时间，所述运行状态包括运行成功和运行失败，所述错误信息记录表中包括至少一项异常信息；一个所述片段化数据运行完毕之后生成一项所述异常信息，且每一项所述异常信息均与该异常信息的创建时间关联；

检测是否接收到启动指令，在接收到所述启动指令时，自所述运行状态记录表中所有所述运行状态为运行成功的所述历史运行记录项中，选取所述运行记录时间的数值最大的所述历史运行记录项并将其记录为最末成功运行项；

获取创建时间在所述最末成功运行项的所述运行记录时间与当前时间之间的所有所述异常信息，从获取的所有所述异常信息中确定排列在所述划分队列中最末位置的结束值，并确定最末位置的所述结束值所属的所述异常信息的创建时间；

在确认最末位置的所述结束值所属的所述异常信息的创建时间大于所述最末成功运行项的所述运行记录时间时，根据最末位置的所述结束值确定所述批量数据中下一个待处理的所述片段化数据，对下一个待处理的所述片段化数据进行数据处理，并在下一个待处理的所述片段化数据的数据处理完毕之后生成一项所述异常信息并将其插入所述错误信息记录表中。

2.根据权利要求1所述的批量数据处理方法，其特征在于，所述接收分段处理指令，将批量数据按照预设的划分队列划分为若干个片段化数据之前，还包括：

自预设的数据源中获取所述批量数据，且所述批量数据在所述数据源中被禁止执行限制操作。

3.根据权利要求1所述的批量数据处理方法，其特征在于，所述获取创建时间在所述最末成功运行项的所述运行记录时间与当前时间之间的所有所述异常信息，从获取的所有所述异常信息中确定排列在所述划分队列中最末位置的结束值，并确定最末位置的所述结束值所属的所述异常信息的创建时间之后，还包括：

获取所述错误信息记录表中各项所述异常信息的异常原因，并根据与各所述异常原因关联的异常处理方法对各项所述异常信息进行异常处理。

4.根据权利要求3所述的批量数据处理方法，其特征在于，所述获取所述错误信息记录表中各项所述异常信息的异常原因，并根据与各所述异常原因关联的异常处理方法对各项所述异常信息进行异常处理，包括：

获取所述错误信息记录表中尚未进行异常处理的各项所述异常信息，并对获取的各项所述异常信息进行分页查询，确定每一项所述异常信息对应的所述片段化数据中是否存在数据异常；

在所述异常信息对应的所述片段化数据中存在数据异常时，获取存在数据异常的所述片段化数据的所述异常原因，根据存在数据异常的该所述片段化数据的所述异常原因确定与其关联的异常处理方法，并根据所述异常处理方法对存在数据异常的所述片段化数据对应的所述异常信息进行异常处理；

在所述异常信息对应的所述片段化数据中不存在数据异常时，将不存在数据异常的所述片段化数据对应的所述异常信息从所述错误信息记录表中删除。

5.根据权利要求4所述的批量数据处理方法，其特征在于，所述根据存在数据异常的该所述片段化数据的所述异常原因确定与其关联的异常处理方法，包括：

在所述错误信息记录表中确定与数据异常的该所述片段化数据存在相同所述异常原因的其他异常信息，判断是否对已对存在相同所述异常原因的所述其他异常信息成功完成异常处理；

若已对存在相同所述异常原因的所述其他异常信息成功完成异常处理，则将所述其他异常信息的所述异常处理方法记录为与数据异常的该所述片段化数据的所述异常原因关联的所述异常处理方法；

若并未对存在相同所述异常原因的所述其他异常信息成功完成异常处理，则接收并存储在异常处理界面中录入的与数据异常的该所述片段化数据的所述异常原因关联的所述异常处理方法。