[发明专利]数据采集方法以及装置在审
| 申请号: | 202010843247.5 | 申请日: | 2020-08-20 |
| 公开(公告)号: | CN111782901A | 公开(公告)日: | 2020-10-16 |
| 发明(设计)人: | 于晨晖 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
| 主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/901;G06Q10/06;G06Q10/10 |
| 代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
| 地址: | 310013 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 采集 方法 以及 装置 | ||
1.一种数据采集方法,包括:
在监测到达预设时间节点的情况下,根据所述预设时间节点对应的采集日期,在采集配置列表中筛选出至少一条采集配置项;
通过基于所述采集配置项生成的采集任务,对所述采集配置项对应的采集项的业务数据进行采集;
在采集成功的情况下,根据所述采集项对应的所述采集频度,确定针对所述采集项的下一采集日期;
基于所述下一采集日期,对所述采集项对应的采集配置项中的所述采集日期进行更新。
2.根据权利要求1所述的数据采集方法,还包括:
接收针对目标采集项的采集申请,其中,所述采集申请携带所述采集申请的申请时间、所述目标采集项的对应的目标采集频度以及目标采集时效;
基于所述申请时间、所述采集频度以及所述目标采集时效,确定针对所述目标采集项的第一采集日期;
根据所述第一采集日期、所述目标采集频度以及所述目标采集时效,生成所述目标采集项对应的目标采集配置项;
将所述目标采集配置项添加至所述采集配置列表。
3.根据权利要求2所述的数据采集方法,所述基于所述申请时间、所述采集频度以及所述目标采集时效,确定针对所述目标采集项的第一采集日期,包括:
基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效,确定针对所述目标采集项的第一目标采集业务时间;
根据所述第一目标采集业务时间以及所述目标采集时效,确定所述第一采集日期。
4.根据权利要求2所述的数据采集方法,所述根据所述第一目标采集业务时间以及所述目标采集时效,确定所述第一采集日期步骤执行之前,还包括:
调用所述目标采集项对应的目标采集任务,对所述目标采集项的目标业务数据进行采集,其中,所述目标业务数据的第二目标采集业务时间基于所述采集申请的申请时间、所述目标采集频度以及所述目标采集时效进行确定。
5.根据权利要求1所述的数据采集方法,所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之前,还包括:
将生成的所述采集任务添加至采集任务列表,并将所述采集任务的任务状态置为初始状态;
相应的,所述对所述采集配置项对应的采集项的业务数据进行采集,包括:
按照预设时间间隔,在所述采集任务列表中选取预设数量的采集任务,其中,选取的采集任务的任务状态为初始状态;
将所述选取的采集任务的任务状态从初始状态更新为处理状态;
通过执行所述选取的采集任务,对所述采集配置项对应的采集项的业务数据进行采集。
6.根据权利要求5所述的数据采集方法,所述通过执行所述选取的采集任务,对所述采集配置项对应的采集项的业务数据进行采集,包括:
根据所述选取的采集任务对应的采集模式,确定所述采集模式对应的采集引擎;
通过调用所述采集引擎,对所述采集配置项对应的采集项的业务数据进行采集。
7.根据权利要求5所述的数据采集方法,所述对所述采集配置项对应的采集项的业务数据进行采集步骤执行之后,还包括:
按照第二预设时间间隔,根据所述采集任务的采集时长,在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务。
8.根据权利要求7所述的数据采集方法,所述在所述采集任务列表中检测所述采集时长大于预设采集时长的目标采集任务步骤执行之后,还包括:
在检测到所述目标采集任务的情况下,将所述目标采集任务的任务状态从所述处理状态更新为初始状态,并将所述目标采集任务的执行次数加一;
基于所述采集时长以及所述执行次数,生成针对目标采集任务的异常信息;
根据所述异常信息,发送针对所述目标采集任务的异常提醒。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010843247.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:光学成像镜头
- 下一篇:一种软件更新控制方法、系统及相关设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





