[发明专利]一种数据扫描方法、装置、设备和存储介质有效
申请号: | 201910228243.3 | 申请日: | 2019-03-25 |
公开(公告)号: | CN109976888B | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 智鹏 | 申请(专利权)人: | 苏州达家迎信息技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F16/24;G06Q10/10 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 215300 江苏省苏州市昆山开发*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 扫描 方法 装置 设备 存储 介质 | ||
1.一种数据扫描方法,其特征在于,包括:
获取待扫描的目标任务流水表;其中,按照任务请求的到来先后,将任务保存至任务流水表;
获取所述目标任务流水表中包括的任务数据对应的数据标识;
根据预设的第一分段数值,以及所述数据标识,将所述目标任务流水表中包括的任务数据划分至多个任务区间内,并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理;其中,数据标识为在按照任务请求的到来先后将每个任务保存至流水表时,生成的与每条任务数据唯一对应的数字标识;
通过每个执行线程,将所分配的任务区间内的任务数据进行逐行扫描;
其中,在获取待扫描的目标任务流水表之前,还包括:
获取预设的参考任务流水表,以及预设的多个参考第一分段数值;
统计不同分段方式下的扫描速度,获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。
2.根据权利要求1所述的方法,其特征在于,通过每个执行线程,将所分配的任务区间内的任务数据进行逐行扫描,包括:
获取所分配的任务区间内的任务数据对应的数据标识,将所述任务区间设置为扫描区间,所述扫描区间的右区间为与最大数据标识匹配的任务数据,所述扫描区间的左区间为与最小数据标识匹配的任务数据;
从与所述最大数据标识匹配的任务数据开始,向前反向逐行扫描,确定任务数据是否命中预设扫描条件。
3.根据权利要求2所述的方法,其特征在于,还包括:
判断命中预设扫描条件的任务数据数量是否达到数据数量阈值;
若是,则将所述右区间更新为最后一个命中的任务数据以更新扫描区间,并在更新后的扫描区间内,从与最大数据标识匹配的任务数据开始,向前反向逐行扫描,确定任务数据是否命中预设扫描条件,重复判断直至完成所分配的任务区间内的任务数据的扫描。
4.根据权利要求1所述的方法,其特征在于,所述目标任务流水表包括:审核流水表;
所述审核流水表中存储的任务数据为审核任务数据。
5.根据权利要求4所述的方法,其特征在于,将所分配的任务区间内的任务数据进行逐行扫描,包括:
逐行读取所分配的任务区间内的任务数据,判断与所述任务数据对应的目标任务是否为丢失任务;
若是,则确定所述任务数据命中预设扫描条件,将所述目标任务的任务处理状态更新为人工处理。
6.根据权利要求5所述的方法,其特征在于,判断与所述任务数据对应的目标任务是否为丢失任务,包括:
根据所述任务数据,判断与所述任务数据对应的目标任务的任务处理状态是否是审核中;
若是,则根据所述任务数据,判断与所述任务数据对应的目标任务的创建时间是否在预设时间区间内;
若是,则确定与所述任务数据对应的目标任务为丢失任务。
7.根据权利要求1所述的方法,其特征在于,所述参考任务流水表中存储设定数量的任务数据;
在获取待扫描的目标任务流水表之前,还包括:
分别根据各参考第一分段数值,将所述参考任务流水表中包括的任务数据划分至多个任务区间内,并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理;
通过每个执行线程,将所分配的任务区间内的任务数据进行逐行扫描。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州达家迎信息技术有限公司,未经苏州达家迎信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910228243.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:调度方法及相关装置
- 下一篇:一种基于智能眼镜的多任务协同处理方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置