[发明专利]一种数据任务调度方法及调度系统在审
申请号: | 201911122296.3 | 申请日: | 2019-11-15 |
公开(公告)号: | CN111090665A | 公开(公告)日: | 2020-05-01 |
发明(设计)人: | 陈宇智;周建平 | 申请(专利权)人: | 广东数果科技有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F16/2457;G06F16/28 |
代理公司: | 广东高端专利代理事务所(特殊普通合伙) 44346 | 代理人: | 曹聪聪 |
地址: | 510000 广东省广州市天河区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 任务 调度 方法 系统 | ||
1.一种数据任务调度方法,其特征在于,所述方法包括:
对数据仓库中的执行语句进行语法分析,以获得语法树;其中,所述语法树为所述执行语句的语法分析结果;
根据所述语法分析结果,获取元数据信息;
将所述元数据信息与数据调度任务进行关联,以获得所述元数据信息与所述数据调度任务之间的关系网;
将所述关系网存储至数据库中;
根据所述数据库中的所述关系网,构建数据地图。
2.根据权利要求1所述的数据任务调度方法,其特征在于,在对数据仓库中的执行语句进行语法分析之前,所述方法还包括:
在接收到用于启动所述数据调度任务的指令之后,控制用户管理界面输出至用户设备的电子显示屏上;其中,所述用户管理界面至少包括用户管理的权限认证与所述数据调度任务的修改权限;
在所述权限认证通过之后,定时获取通过所述修改权限提交的任务;其中,所述任务中至少包括所述数据调度任务;
控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤。
3.根据权利要求2所述的数据任务调度方法,其特征在于,在定时获取通过所述修改权限提交的任务之后,以及控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤之前,所述方法还包括:
获取所述执行语句与所述任务之间的依赖关系图;
根据所述依赖关系图,确定所述执行语句的分配路径;
生成待执行任务实例;
以及,在构建数据地图之后,所述方法还包括:
检测所述待执行任务实例中是否出现变化;若是,从所述数据地图中获取所述变化的来源。
4.根据权利要求3所述的数据任务调度方法,其特征在于,在从所述数据地图中获取所述变化的来源之后,所述方法还包括:
检测所述变化是否会影响所述数据仓库内其他数据的输出;若是,从所述数据仓库中获取受影响数据;
根据所述受影响数据,确定所述变化对所述数据调度任务的第一影响。
5.根据权利要求2所述的数据任务调度方法,其特征在于,在控制用户管理界面输出至用户设备的电子显示屏上之后,以及所述权限认证通过之前,所述方法还包括:
检测所述用户管理界面能否顺利显示在所述电子显示屏上;若否,控制备用用户管理界面输出至所述电子显示屏上。
6.根据权利要求2述的数据任务调度方法,其特征在于,所述控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤,包括:
控制所述调度系统横向扩展部署在多个不同的服务设备上,并在所述服务设备上执行所述对数据仓库中的执行语句进行语法分析的步骤。
7.根据权利要求1~6任一项所述的数据任务调度方法,其特征在于,所述方法还包括:
在所述数据调度任务执行完毕之后,通过所述数据地图获取所述数据调度任务的结果数据与所述执行语句之间的关系;
在任一所述执行语句被修改后,根据所述结果数据与所述执行语句之间的关系,检测与被修改的任一所述执行语句对应的所述结果数据是否被修改;若是,确定出所述执行语句对所述数据调度任务的第二影响。
8.一种调度系统,其特征在于,所述调度系统包括:
分析单元,用于对数据仓库中的执行语句进行语法分析,以获得语法树;其中,所述语法树为所述执行语句的语法分析结果;
第一获取单元,用于根据所述语法分析结果,获取元数据信息;
关联单元,用于将所述元数据信息与所述数据仓库进行关联,以获得所述元数据信息与所述数据仓库之间的第一关系网;
存储单元,用于将所述第一关系网存储至数据库中;
第二获取单元,用于根据所述数据库中每一所述第一关系网,构建数据地图;其中,所述数据地图为任一所述元数据信息与任一所述数据仓库之间的第二关系网。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东数果科技有限公司,未经广东数果科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911122296.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:天线调节方法、装置及终端设备
- 下一篇:多信息显示方法、装置、终端及存储介质
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置