[发明专利]数据表连接方式处理方法及装置有效
| 申请号: | 201610141198.4 | 申请日: | 2016-03-14 |
| 公开(公告)号: | CN107193813B | 公开(公告)日: | 2021-05-14 |
| 发明(设计)人: | 徐冬;孙伟光;连杰红;汪龙重 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/28 |
| 代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 孟繁琦 |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据表 连接 方式 处理 方法 装置 | ||
本申请提供一种数据表连接方式处理方法及装置。方法包括:根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;根据参数列表中的参数和各候选数据表连接方式的执行逻辑,预估各候选数据表连接方式对待连接数据表进行连接计算时的执行代价;根据预估的各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,选择用于对待连接数据表进行连接计算的目标数据表连接方式。本申请可以选择合适的Join算法进行数据表之间的连接,进而节约分布式数据仓库的资源,提高查询效率。
【技术领域】
本申请涉及数据库技术领域,尤其涉及一种数据表连接方式处理方法及装置。
【背景技术】
随着互联网的发展,数据呈现爆发式增长,数据结构也开始多元化,数据含有的信息量越来越多,数据仓库在这样的背景下发挥着巨大的作用。由于大数据时代的降临,数据仓库转成为分布式架构,以满足爆发式增长的计算及存储的需求。分布式数据仓库一般使用列式存储,并以文件的形式保存数据,因此,采用分布式数据仓库可提高大数据的存储及计算性能。
在分布式数据仓库的查询过程中,经常需要进行数据表之间的连接(Join)计算。用于实现Join计算的算法(简称为Join算法)有很多,不同Join算法所能处理的数据量以及所消耗的各种资源一般是不同的。对于分布式数据仓库而言,若能够选择合适的Join算法,不仅可以节约分布式数据仓库的资源,而且可以提高查询效率。但是,由于分布式数据仓库发展时间不长,所以目前并不存在适用于分布式数据仓库的Join算法选择方案。
【发明内容】
本申请的多个方面提供一种数据表连接方式处理方法及装置,用以选择合适的Join算法进行数据表之间的连接,进而节约分布式数据仓库的资源,提高查询效率。
本申请的一方面,提供一种数据表连接方式处理方法,包括:
根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;
根据所述参数列表中的参数和各候选数据表连接方式的执行逻辑,预估所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价;
根据预估的所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价,选择用于对所述待连接数据表进行连接计算的目标数据表连接方式。
本申请的另一方面,提供一种数据表连接方式处理装置,包括:
设置模块,用于根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表;
预估模块,用于根据所述参数列表中的参数和各候选数据表连接方式的执行逻辑,预估所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价;
选择模块,用于根据预估的所述各候选数据表连接方式对所述待连接数据表进行连接计算时的执行代价,选择用于对所述待连接数据表进行连接计算的目标数据表连接方式。
在本申请中,根据待连接数据表所在的分布式数据仓库环境,设置用于代价估计的参数列表,根据参数列表中的参数和各候选数据表连接方式的执行逻辑,预估各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,根据预估的各候选数据表连接方式对待连接数据表进行连接计算时的执行代价,选择用于对待连接数据表进行连接计算的目标数据表连接方式,从而选择与分布式数据仓库环境相适合的数据表连接方式,进而在基于所选择的数据表连接方式进行数据表之间的连接计算时,可以节约分布式数据仓库的资源,提高查询效率。
【附图说明】
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610141198.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种双合一网址导航方法
- 下一篇:数字阅读中实现书籍自动分类整理的方法和装置





