[发明专利]一种数据扫描方法、装置、设备和存储介质

说明书

本发明实施例公开了一种数据扫描方法、装置、设备和存储介质。其中，该方法包括：获取待扫描的目标任务流水表；将所述目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。本发明实施例可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，得到的任务区间之间不会相互影响，充分利用现代数据库超高的吞吐量，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能，无需创建索引，避免索引带来的存储以及更新时维护索引的开销。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据扫描方法、装置、设备和存储介质。

背景技术

审核工作台提供审核服务。审核工作台获取审核任务请求，并执行对应的审核任务。审核任务包括身份证审核任务和银行卡审核任务。审核工作台通过异步处理接口获取审核任务请求，按照审核任务请求的到来先后，将身份证审核任务和银行卡审核任务保存至审核流水表。审核任务的状态为自动审核中。然后审核工作台向请求发送方返回审核任务请求成功接收响应，并将审核任务放入队列等待执行。

如果此时审核工作台的审核服务因为宕机、重启或者程序异常导致进程挂掉，那么处于队列中的审核任务可能尚未执行，或者未执行结束。即有的审核任务还是处于中间状态，不会向其他状态转移，成为丢失任务。为了避免在程序重启时加载之前，尚未执行完成的任务出现资源抢占的问题，以及为了尽快恢复审核服务的进程，通常是扫描审核流水表中的审核任务数据，判断任务状态是否为丢失任务，并将丢失任务转为人工处理。

现有技术中，针对如何扫描审核流水表中的审核任务数据，判断审核任务是否为丢失任务，有三种方案。第一种方案是扫描整个审核流水表，将任务状态为自动审核中并且创建时间早于当前时间一小时以上的审核任务，都认为是需要转为人工处理的丢失任务。第二种方案是在第一种方案的基础上，为每一个审核任务的创建时间加一个索引，根据索引在丢失任务查找时进行准确定位。第三种方案是在第一种方案的基础上，先拿到审核流水表的最大自增数据标识，向前反向搜索，命中500个丢失任务后更新一次，再继续向前搜索，重复直到完成整个审核流水表的扫描，任务结束。

现有技术的缺陷在于：第一种方案的执行效率低下，数据扫描速度慢，容易出现调用过程超时，会引发锁表(锁审核流水表中的全部记录)，造成其他相关业务被阻塞的连锁反应，产生大量慢查询日志。第二种方案需要创建索引，辅以创建索引、维护索引等额外开销。针对第三种方案，如果丢失任务在流水表中均匀分布，那么第三种方案的执行过程是相对高效的。真实的总扫描行数等同于流水表大小，只是循环执行了多次。但是如果扫描过程中一直没有命中丢失任务，那么这一次扫描就是针对整个审核流水表了，相当于锁表操作(锁审核流水表中的全部记录，新增审核任务不在其作用范围，但是覆盖范围太大)，仍会造成其他相关业务被阻塞的连锁反应，产生大量慢查询日志。

发明内容

本发明实施例提供一种数据扫描方法、装置、设备和存储介质，可以在避免不必要的开销，不会对主业务产生较多干扰的同时，提升数据扫描速度。

第一方面，本发明实施例提供了一种数据扫描方法，包括：

获取待扫描的目标任务流水表；

将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；

通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

第二方面，本发明实施例还提供了一种数据扫描装置，包括：

流水表获取模块，用于获取待扫描的目标任务流水表；

数据分段模块，用于将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；