[发明专利]一种数据处理方法和装置在审
申请号: | 202110759742.2 | 申请日: | 2021-07-05 |
公开(公告)号: | CN113485897A | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 吴祥 | 申请(专利权)人: | 建信金融科技有限责任公司 |
主分类号: | G06F11/32 | 分类号: | G06F11/32;G06F16/2455 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;李阳 |
地址: | 200120 上海市自由*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
接收应用系统产生的运维数据,获取所述运维数据的类型和目标字段,进而匹配预设的报障规则,以基于对应的报障规则创建流式计算任务;
调用SQL引擎,解析并开启流式计算任务,进而通过对应的报障规则对运维数据进行计算,以得到实时报障检测信息,并报送给报障平台。
2.根据权利要求1所述的方法,其特征在于,所述运维数据的类型包括监控信息、工单信息、告警信息和操作信息。
3.根据权利要求1所述的方法,其特征在于,接收应用系统产生的运维数据,包括:
接收应用系统产生的运维数据,识别运维数据的类型;
调用相应的转化模型,将所述运维数据进行处理,以得到标准化的运维数据。
4.根据权利要求1所述的方法,其特征在于,匹配预设的报障规则,包括:
根据运维数据的类型和目标字段,判断是否存在对应的报障规则;
若是则提取对应的报障规则,若否则基于所述运维数据的类型和目标字段创建报障规则。
5.根据权利要求1所述的方法,其特征在于,解析并开启流式计算任务之后,包括:
将流式计算任务运行在统一的资源调度YARN上,记录流式计算任务运行状态和日志。
6.根据权利要求1所述的方法,其特征在于,通过对应的报障规则对运维数据进行计算,包括:
在Flink web平台上创建源表和目标表,将报障规则和运维数据进行映射且存储至源表;
对源表中的映射数据进行关联查询计算,以得到实时报障信息并写入目标表。
7.根据权利要求1-6任一所述的方法,其特征在于,包括:
获取实时报障检测信息进行封装,通过REST API报送给报障平台。
8.一种数据处理装置,其特征在于,包括:
运维数据管理模块,用于接收应用系统产生的运维数据;
报障规则管理模块,用于获取所述运维数据的类型和目标字段,进而匹配预设的报障规则;
流式任务管理模块,用于基于对应的报障规则创建流式计算任务;
SQL引擎模块,用于调用SQL引擎解析并开启流式计算任务,进而通过对应的报障规则对运维数据进行计算,以得到实时报障检测信息,并报送给报障平台。
9.根据权利要求8所述的装置,其特征在于,所述运维数据的类型包括监控信息、工单信息、告警信息和操作信息。
10.根据权利要求8所述的装置,其特征在于,运维数据管理模块接收应用系统产生的运维数据,包括:
接收应用系统产生的运维数据,识别运维数据的类型;
调用相应的转化模型,将所述运维数据进行处理,以得到标准化的运维数据。
11.根据权利要求8所述的装置,其特征在于,报障规则管理模块匹配预设的报障规则,包括:
根据运维数据的类型和目标字段,判断是否存在对应的报障规则;
若是则提取对应的报障规则,若否则基于所述运维数据的类型和目标字段创建报障规则。
12.根据权利要求8所述的装置,其特征在于,SQL引擎模块解析并开启流式计算任务之后,包括:
将流式计算任务运行在统一的资源调度YARN上,记录流式计算任务运行状态和日志。
13.根据权利要求8所述的装置,其特征在于,SQL引擎模块通过对应的报障规则对运维数据进行计算,包括:
在Flink web平台上创建源表和目标表,将报障规则和运维数据进行映射且存储至源表;
对源表中的映射数据进行关联查询计算,以得到实时报障信息并写入目标表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于建信金融科技有限责任公司,未经建信金融科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110759742.2/1.html,转载请声明来源钻瓜专利网。