[发明专利]数据处理方法、装置及电子设备在审
申请号: | 202210603396.3 | 申请日: | 2022-05-30 |
公开(公告)号: | CN114860846A | 公开(公告)日: | 2022-08-05 |
发明(设计)人: | 夏柱昌;苗青利;刘建波 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/25 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 王蕊;刘芳 |
地址: | 518027 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 | ||
1.一种数据处理方法,其特征在于,包括:
实时获取目标业务对应的待处理数据,其中,所述待处理数据中包含数据生成时间;
根据所述数据生成时间将所述待处理数据划分至不同的时间窗口下,并根据划分结果得到不同时间窗口对应的窗口数据,其中,每个时间窗口的窗口数据中包含一边界时间,每个边界时间包含一开始时间和一结束时间,所述开始时间为分配至所述时间窗口下的待处理数据中包含的最早生成时间,所述结束时间为分配至所述时间窗口下的待处理数据中包含的最晚生成时间;
根据所述不同时间窗口对应的窗口数据实现所述目标业务。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据生成时间将所述待处理数据划分至不同的时间窗口下,并根据划分结果得到不同时间窗口对应的窗口数据,包括:
在获取到数据划分权限锁时,获取历史窗口数据,其中,所述历史窗口数据中包含第一结束时间,所述历史窗口数据为至少一窗口状态为已执行状态的时间窗口对应的数据,所述第一结束时间为所述历史窗口数据中包含的边界时间中最晚的结束时间;
根据所述第一结束时间以及目标时间对所述待处理数据进行提取处理,得到初始目标待处理数据,其中,所述目标时间为根据当前时间与第一预设延迟时长确定的;
按数据生成时间依次从所述初始目标待处理数据中提取与目标个数相对应的目标待处理数据,其中,所述目标个数为预设个数阈值与预设时间窗口阈值的乘积;
构建与所述时间窗口阈值的数量对应的时间窗口,并基于所述目标待处理数据的数据生成时间以及所述个数阈值,将所述目标待处理数据划分至与所述时间窗口阈值的数量对应的时间窗口下,并根据划分结果得到不同时间窗口对应的窗口数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标待处理数据的数据生成时间以及所述预设个数阈值,将所述目标待处理数据划分至与所述窗口阈值的个数对应的时间窗口下,包括:
针对任一目标时间窗口,若所述目标时间窗口的结束时间对应多个数据生成时间相同的目标待处理数据,则将所述多个数据生成时间相同的目标待处理数据分配至所述目标时间窗口下。
4.根据权利要求1-3任一项所述的方法,其特征在于,每个同步处理权限锁对应的窗口数据为至少两个,则所述根据所述不同时间窗口对应的窗口数据实现所述目标业务,包括:
在得到目标同步处理权限锁之后,获取与所述目标同步处理权限锁对应的至少两个第一目标窗口数据;
根据所述至少两个第一目标窗口数据中包含的第二开始时间以及第二结束时间从所述待处理数据中提取数据,其中,所述第二开始时间为所述至少两个第一目标窗口数据中包含的最早的开始时间,所述第二结束时间为所述至少两个第一目标窗口数据中包含的最晚的结束时间;
同步执行新提取的待处理数据,并根据所述新提取的待处理数据的执行结果更新所述至少两个第一目标窗口数据。
5.根据权利要求4所述的方法,其特征在于,还包括:
在得到异步处理权限锁之后,获取满足预设条件的异常待处理数据;
异步执行所述异常待处理数据,并根据所述异常待处理数据的处理结果更新所述异常待处理数据对应的窗口数据。
6.根据权利要求5所述的方法,其特征在于,所述获取满足预设条件的异常待处理数据,包括:
获取处理失败的时间窗口对应的第二目标窗口数据,其中,所述处理失败的时间窗口为第一预设时长内同步处理次数大于第一预设次数阈值,且异步处理次数小于第二预设次数阈值的时间窗口;
根据所述第二目标窗口数据中包含的第三开始时间以及第三结束时间从所述待处理数据表中提取异常待处理数据,其中,所述第三开始时间为所述第二目标窗口数据中包含的最早的开始时间,所述第三结束时间为所述第二目标窗口数据中包含的最晚的结束时间。
7.根据权利要求5所述的方法,其特征在于,所述待处理数据中包含数据状态,则所述获取满足预设条件的异常待处理数据,包括:
从所述待处理数据中获取数据生成时间在第二预设时长内,且数据状态为处理失败状态的待处理数据,得到异常待处理数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210603396.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:异常行为识别方法和装置
- 下一篇:一种风洞大攻角装置和控制系统