[发明专利]基于流计算的业务系统的分析方法及装置在审
申请号: | 201910958456.1 | 申请日: | 2019-10-10 |
公开(公告)号: | CN112650657A | 公开(公告)日: | 2021-04-13 |
发明(设计)人: | 张迪 | 申请(专利权)人: | 浙江大搜车软件技术有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 李威 |
地址: | 310000 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 计算 业务 系统 分析 方法 装置 | ||
本发明涉及基于流计算的业务系统的分析方法及装置、电子设备、存储介质。该分析方法包括:获取业务系统的数据表的表信息,所述数据表包括数据源表和数据结果表,所述数据结果表用于存储任务执行过程中,对所述数据源表中的数据进行数据处理的结果;根据所述表信息确定所述任务的依赖关系,所述任务的依赖关系包括所述任务的子任务和/或父任务,所述任务的数据源表为所述父任务的数据结果表,所述任务的数据结果表为所述子任务的数据源表。本发明中,可实时生成、更新业务系统的任务依赖关系,满足基于流计算的业务系统的时效性要求,为业务系统的实时数仓开发和循环依赖问题的监控提供参考及依据。
技术领域
本发明涉及计算机技术领域,特别涉及基于流计算的业务系统的分析方法及装置、电子设备、存储介质。
背景技术
业务系统的任务依赖关系,对于业务系统的实时数仓开发以及任务循环依赖问题的监控具有重要作用。在流计算领域,目前依赖人工实现业务系统的任务依赖关系分析,效率极低,且并不能获得全面的任务依赖关系。随着业务系统中的任务量日益增加,基于人工实现任务依赖关系分析的弊端越发明显,已无法满足当前对任务依赖关系分析的正确性与时效性的需求。
发明内容
本发明提供一种基于流计算的业务系统的分析方法及装置、电子设备、存储介质,以解决现有技术中基于人工实现业务系统的任务依赖关系分析方式,效率低,出错率高的缺陷。
具体地,本发明是通过如下技术方案实现的:
第一方面,提供一种基于流计算的业务系统的分析方法,所述分析方法包括:
获取业务系统的数据表的表信息,所述数据表包括数据源表和数据结果表,所述数据结果表用于存储任务执行过程中,对所述数据源表中的数据进行数据处理的结果;
根据所述表信息确定所述任务的依赖关系,所述任务的依赖关系包括所述任务的子任务和/或父任务,所述任务的数据源表为所述父任务的数据结果表,所述任务的数据结果表为所述子任务的数据源表。
可选地,所述分析方法还包括:
获取每个任务对应的任务标识;
根据所述任务的依赖关系连接所述任务标识,得到任务拓扑图。
可选地,所述数据表还包括数据依赖表;
所述数据依赖表用于在所述任务执行过程中查找与所述数据源表对应的数据结果表。
可选地,所述分析方法还包括:
获取所述数据表的字段信息;
根据所述任务的依赖关系和所述字段信息确定字段的依赖关系,所述字段的依赖关系包括所述字段的父字段和/或子字段,所述字段的数据为对所述父字段的数据进行数据处理的结果,所述子字段的数据为对所述字段的数据进行数据处理的结果。
可选地,所述分析方法还包括:
获取每个字段对应的字段标识;
根据所述字段的依赖关系连接所述字段标识,得到字段拓扑图。
可选地,所述分析方法还包括:
判断所述任务拓扑图是否存在闭环;
在判断为是时,生成报警信息。
可选地,所述表信息包括以下参数中的至少一种:表类型、表名、表字段和所属任务。
第二方面,提供一种基于流计算的业务系统的分析装置,所述分析装置包括:
第一获取模块,用于获取业务系统的数据表的表信息,所述数据表包括数据源表和数据结果表,所述数据结果表用于存储任务执行过程中,对所述数据源表中的数据进行数据处理的结果;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大搜车软件技术有限公司,未经浙江大搜车软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910958456.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:车轮踏面清扫控制装置和方法、车轮踏面清扫系统
- 下一篇:工作灯