[发明专利]数据处理方法、装置、存储介质及处理器在审
申请号: | 202110242071.2 | 申请日: | 2021-03-04 |
公开(公告)号: | CN112948387A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 王军 | 申请(专利权)人: | 北京深演智能科技股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/9535;G06F9/48;G06F9/50 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周春枚 |
地址: | 100020 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 处理器 | ||
1.一种数据处理方法,其特征在于,包括:
创建任务数据;
通过工作流引擎对所述任务数据进行推送,获取推送出的任务数据;
通过执行器根据所述推送出的任务数据触发任务执行指令;
响应所述任务执行指令并执行,将所述推送出的任务数据的执行状态进行记录。
2.根据权利要求1所述的方法,其特征在于,创建任务数据之后,所述方法还包括:
对所述任务数据进行审核,并将通过审核的任务数据存储到业务数据库,其中,所述业务数据库进行数据更新后,采用日志集群对更新操作进行记录;
获取推送对象的数据信息,并将所述推送对象的数据信息进行存储;
通过所述工作流引擎读取所述推送对象的数据信息,将所述推送对象的数据信息存入Redis数据库。
3.根据权利要求2所述的方法,其特征在于,通过工作流引擎对所述任务数据进行推送,获取推送出的任务数据还包括:
基于调度器对所述任务数据进行多个节点的分布式调度,得到每个调度后的任务数据,其中,每个调度后的任务数据是根据Redis数据库中所述推送对象的数据信息进行分配的;
通过所述工作流引擎对每个调度后的任务数据进行推送,获取推送出的任务数据。
4.根据权利要求1所述的方法,其特征在于,所述工作流引擎对任务数据的推送方式至少包括以下之一:应用程序推送、信息推送以及邮件推送。
5.根据权利要求1所述的方法,其特征在于,将所述任务数据的执行状态记录到hbase数据状态表中。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若检测到任务执行过程出现故障,从所述hbase数据状态表中获取所述任务数据的执行状态;
基于所述任务数据的执行状态确定出现故障的目标节点;
对所述目标节点执行任务恢复操作。
7.一种数据处理装置,其特征在于,包括:
第一创建单元,用于创建任务数据;
第一推送单元,用于通过工作流引擎对所述任务数据进行推送,获取推送出的任务数据;
第一执行单元,用于通过执行器根据所述推送出的任务数据触发任务执行指令;
第一响应单元,用于响应所述任务执行指令并执行,将所述推送出的任务数据的执行状态进行记录。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一审核单元,用于创建任务数据之后,对所述任务数据进行审核,并将通过审核的任务数据存储到业务数据库,其中,所述业务数据库进行数据更新后,采用日志集群对更新操作进行记录;
第一获取单元,用于获取推送对象的数据信息,并将所述推送对象的数据信息进行存储;
第一存储单元,用于通过所述工作流引擎读取所述推送对象的数据信息,将所述推送对象的数据信息存入Redis数据库。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至6中任意一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京深演智能科技股份有限公司,未经北京深演智能科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110242071.2/1.html,转载请声明来源钻瓜专利网。