[发明专利]一种用于分布式执行关系型计算指令的方法与设备有效

专利信息
申请号: 201410778654.7 申请日: 2014-12-15
公开(公告)号: CN105786808B 公开(公告)日: 2019-06-18
发明(设计)人: 冯骁;王鹏飞;谢德军;柴永锋;徐常亮 申请(专利权)人: 阿里巴巴集团控股有限公司
主分类号: G06F16/25 分类号: G06F16/25;G06F16/28;G06F9/44
代理公司: 上海百一领御专利代理事务所(普通合伙) 31243 代理人: 陈贞健
地址: 英属开曼群岛大开*** 国省代码: 开曼群岛;KY
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 用于 分布式 执行 关系 计算 指令 方法 设备
【权利要求书】:

1.一种用于分布式执行关系型计算指令的方法,其中,该方法包括:

获取待执行的、基于关系型逻辑的关系型计算语句;

将所述关系型计算语句映射为由若干个分布式关系型计算算子构成的关系型计算指令;

根据所述关系型计算指令生成对应的逻辑查询树,其中,所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点;

分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

2.根据权利要求1所述的方法,其中,所述分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果包括:

生成所述逻辑查询树所对应的物理查询树;

分布式执行所述物理查询树。

3.根据权利要求2所述的方法,其中,所述生成所述逻辑查询树所对应的物理查询树包括:

通过对所述逻辑查询树中的相关节点执行优化操作,生成所述逻辑查询树所对应的物理查询树。

4.根据权利要求1所述的方法,其中,所述分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果包括:

按有向无环图的方式分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

5.根据权利要求1所述的方法,其中,所述关系型计算指令是基于HIVE、SQL或PIG的。

6.根据权利要求1所述的方法,其中,所述分布式关系型计算算子是基于ProtoBuf、XML或JSON来描述的。

7.根据权利要求1所述的方法,其中,所述分布式关系型计算算子包括以下至少任一项:

数据分片算子、过滤算子、聚合算子、联接算子、投影算子、排序算子、输出算子、限制输出行数算子、合并结果算子、窗口函数算子、计算表值函数算子或读取数据源算子。

8.根据权利要求1至7中任一项所述的方法,其中,所述根据所述关系型计算指令生成对应的逻辑查询树包括:

根据所述关系型计算指令生成对应的逻辑查询树,其中,所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点,所述分布式关系型计算算子间的数据传递关系映射为对应所述节点间的父子关系。

9.一种用于分布式执行关系型计算指令的设备,其中,该设备包括:

第一装置,包括:第一一单元,用于获取待执行的、基于关系型逻辑的关系型计算语句;第一二单元,用于将所述关系型计算语句映射为由若干个分布式关系型计算算子构成的关系型计算指令;

第二装置,用于根据所述关系型计算指令生成对应的逻辑查询树,其中,所述逻辑查询树包括与所述分布式关系型计算算子相对应的节点;

第三装置,用于分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

10.根据权利要求9所述的设备,其中,所述第三装置包括:

第三一单元,用于生成所述逻辑查询树所对应的物理查询树;

第三二单元,用于分布式执行所述物理查询树。

11.根据权利要求10所述的设备,其中,所述第三一单元用于:

通过对所述逻辑查询树中的相关节点执行优化操作,生成所述逻辑查询树所对应的物理查询树。

12.根据权利要求9所述的设备,其中,所述第三装置用于:

按有向无环图的方式分布式执行所述逻辑查询树以获得所述关系型计算指令所对应的查询结果。

13.根据权利要求9所述的设备,其中,所述关系型计算指令是基于HIVE、SQL或PIG的。

14.根据权利要求9所述的设备,其中,所述分布式关系型计算算子是基于ProtoBuf、XML或JSON来描述的。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410778654.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top