[发明专利]数据表连接方式处理方法及装置有效

专利信息
申请号: 201610141198.4 申请日: 2016-03-14
公开(公告)号: CN107193813B 公开(公告)日: 2021-05-14
发明(设计)人: 徐冬;孙伟光;连杰红;汪龙重 申请(专利权)人: 阿里巴巴集团控股有限公司
主分类号: G06F16/2455 分类号: G06F16/2455;G06F16/28
代理公司: 北京鸿德海业知识产权代理有限公司 11412 代理人: 孟繁琦
地址: 英属开曼群岛大开*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据表 连接 方式 处理 方法 装置
【说明书】:

本申请提供一种数据表连接方式处理方法及装置。方法包括:根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;根据参数列表中的参数和各候选数据表连接方式的执行逻辑,预估各候选数据表连接方式对待连接数据表进行连接计算时的执行代价;根据预估的各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,选择用于对待连接数据表进行连接计算的目标数据表连接方式。本申请可以选择合适的Join算法进行数据表之间的连接,进而节约分布式数据仓库的资源,提高查询效率。

【技术领域】

本申请涉及数据库技术领域,尤其涉及一种数据表连接方式处理方法及装置。

【背景技术】

随着互联网的发展,数据呈现爆发式增长,数据结构也开始多元化,数据含有的信息量越来越多,数据仓库在这样的背景下发挥着巨大的作用。由于大数据时代的降临,数据仓库转成为分布式架构,以满足爆发式增长的计算及存储的需求。分布式数据仓库一般使用列式存储,并以文件的形式保存数据,因此,采用分布式数据仓库可提高大数据的存储及计算性能。

在分布式数据仓库的查询过程中,经常需要进行数据表之间的连接(Join)计算。用于实现Join计算的算法(简称为Join算法)有很多,不同Join算法所能处理的数据量以及所消耗的各种资源一般是不同的。对于分布式数据仓库而言,若能够选择合适的Join算法,不仅可以节约分布式数据仓库的资源,而且可以提高查询效率。但是,由于分布式数据仓库发展时间不长,所以目前并不存在适用于分布式数据仓库的Join算法选择方案。

发明内容】

本申请的多个方面提供一种数据表连接方式处理方法及装置,用以选择合适的Join算法进行数据表之间的连接,进而节约分布式数据仓库的资源,提高查询效率。

本申请的一方面,提供一种数据表连接方式处理方法,包括:

根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;

根据所述参数列表中的参数和各候选数据表连接方式的执行逻辑,预估所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价;

根据预估的所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价,选择用于对所述待连接数据表进行连接计算的目标数据表连接方式。

本申请的另一方面,提供一种数据表连接方式处理装置,包括:

设置模块,用于根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;

预估模块,用于根据所述参数列表中的参数和各候选数据表连接方式的执行逻辑,预估所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价;

选择模块,用于根据预估的所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价,选择用于对所述待连接数据表进行连接计算的目标数据表连接方式。

在本申请中,根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表,根据参数列表中的参数和各候选数据表连接方式的执行逻辑,预估各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,根据预估的各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,选择用于对待连接数据表进行连接计算的目标数据表连接方式,从而选择与分布式数据仓库环境相适合的数据表连接方式,进而在基于所选择的数据表连接方式进行数据表之间的连接计算时,可以节约分布式数据仓库的资源,提高查询效率。

【附图说明】

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201610141198.4/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top