[发明专利]一种数据任务调度方法及调度系统在审

专利信息
申请号: 201911122296.3 申请日: 2019-11-15
公开(公告)号: CN111090665A 公开(公告)日: 2020-05-01
发明(设计)人: 陈宇智;周建平 申请(专利权)人: 广东数果科技有限公司
主分类号: G06F16/242 分类号: G06F16/242;G06F16/2457;G06F16/28
代理公司: 广东高端专利代理事务所(特殊普通合伙) 44346 代理人: 曹聪聪
地址: 510000 广东省广州市天河区*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 任务 调度 方法 系统
【权利要求书】:

1.一种数据任务调度方法,其特征在于,所述方法包括:

对数据仓库中的执行语句进行语法分析,以获得语法树;其中,所述语法树为所述执行语句的语法分析结果;

根据所述语法分析结果,获取元数据信息;

将所述元数据信息与数据调度任务进行关联,以获得所述元数据信息与所述数据调度任务之间的关系网;

将所述关系网存储至数据库中;

根据所述数据库中的所述关系网,构建数据地图。

2.根据权利要求1所述的数据任务调度方法,其特征在于,在对数据仓库中的执行语句进行语法分析之前,所述方法还包括:

在接收到用于启动所述数据调度任务的指令之后,控制用户管理界面输出至用户设备的电子显示屏上;其中,所述用户管理界面至少包括用户管理的权限认证与所述数据调度任务的修改权限;

在所述权限认证通过之后,定时获取通过所述修改权限提交的任务;其中,所述任务中至少包括所述数据调度任务;

控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤。

3.根据权利要求2所述的数据任务调度方法,其特征在于,在定时获取通过所述修改权限提交的任务之后,以及控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤之前,所述方法还包括:

获取所述执行语句与所述任务之间的依赖关系图;

根据所述依赖关系图,确定所述执行语句的分配路径;

生成待执行任务实例;

以及,在构建数据地图之后,所述方法还包括:

检测所述待执行任务实例中是否出现变化;若是,从所述数据地图中获取所述变化的来源。

4.根据权利要求3所述的数据任务调度方法,其特征在于,在从所述数据地图中获取所述变化的来源之后,所述方法还包括:

检测所述变化是否会影响所述数据仓库内其他数据的输出;若是,从所述数据仓库中获取受影响数据;

根据所述受影响数据,确定所述变化对所述数据调度任务的第一影响。

5.根据权利要求2所述的数据任务调度方法,其特征在于,在控制用户管理界面输出至用户设备的电子显示屏上之后,以及所述权限认证通过之前,所述方法还包括:

检测所述用户管理界面能否顺利显示在所述电子显示屏上;若否,控制备用用户管理界面输出至所述电子显示屏上。

6.根据权利要求2述的数据任务调度方法,其特征在于,所述控制调度系统执行所述对数据仓库中的执行语句进行语法分析的步骤,包括:

控制所述调度系统横向扩展部署在多个不同的服务设备上,并在所述服务设备上执行所述对数据仓库中的执行语句进行语法分析的步骤。

7.根据权利要求1~6任一项所述的数据任务调度方法,其特征在于,所述方法还包括:

在所述数据调度任务执行完毕之后,通过所述数据地图获取所述数据调度任务的结果数据与所述执行语句之间的关系;

在任一所述执行语句被修改后,根据所述结果数据与所述执行语句之间的关系,检测与被修改的任一所述执行语句对应的所述结果数据是否被修改;若是,确定出所述执行语句对所述数据调度任务的第二影响。

8.一种调度系统,其特征在于,所述调度系统包括:

分析单元,用于对数据仓库中的执行语句进行语法分析,以获得语法树;其中,所述语法树为所述执行语句的语法分析结果;

第一获取单元,用于根据所述语法分析结果,获取元数据信息;

关联单元,用于将所述元数据信息与所述数据仓库进行关联,以获得所述元数据信息与所述数据仓库之间的第一关系网;

存储单元,用于将所述第一关系网存储至数据库中;

第二获取单元,用于根据所述数据库中每一所述第一关系网,构建数据地图;其中,所述数据地图为任一所述元数据信息与任一所述数据仓库之间的第二关系网。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东数果科技有限公司,未经广东数果科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911122296.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top