[发明专利]分布式数据库系统中的表连接方法及分布式数据库系统有效
| 申请号: | 201610263605.9 | 申请日: | 2016-04-25 |
| 公开(公告)号: | CN107305581B | 公开(公告)日: | 2020-06-16 |
| 发明(设计)人: | 张国强;黄琳;孙东旺 | 申请(专利权)人: | 华为技术有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/27 |
| 代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 罗振安 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分布式 数据库 系统 中的 连接 方法 | ||
本发明公开了一种分布式数据库中的表连接方法及系统,属于信息技术领域。包括:将协调节点发送的第一数据表中第一目标列的数据存储在本地存储器;接收表连接请求;当第一目标列上的第一数据与第二目标列上的第二数据相同时,将第一数据所在行的数据与第二数据所在行的数据进行连接;向协调节点发送连接结果。本发明中数据节点通过存储第一数据表的第一目标列的数据,在接收到将第一数据表的第一目标列和第二数据表的第二目标列作连接的表连接请求后,直接在本地作连接,无需将节点上存储的数据发送至协调节点,不仅减少了数据传输量,缩短了网络响应时间,提高了业务性能,而且减少对协调节点和数据节点存储资源的占用,节省了存储空间。
技术领域
本发明涉及信息技术领域,特别涉及一种分布式数据库系统中的表连接方法及分布式数据库系统。
背景技术
在分布式数据库系统中,节点按照功能可分为协调节点和数据节点,其中,数据节点用于存储数据表中的数据,协调节点作为客户端和数据节点之间通信的桥梁,用于临时性存储客户端和数据节点所发送的数据,并在客户端和数据节点之间传递数据。在分布式数据库系统中,数据的存储通常采用非共享体系(share nothing)的数据结构,在非共享体系的数据结构下,数据表中的数据以行为单位分布在各个数据节点中,在各个数据节点中数据表中的数据可以以行为单位进行存储,还可以以列为单位进行存储。
基于分布式数据库系统中非共享体系的数据结构,分布式数据库所采用的将两张数据表中的数据进行连接的方法,由于数据表分布在不同的数据节点,协调节点需要从数据节点中将两张表的数据都收集到本地,再在本地进行连接,由于传输的数据量较大故网络响应时间长,使得协调节点处理数据的连接较慢,并且要占用大量的协调节点的资源,业务性能较差。
发明内容
为了解决采用现有的数据表连接方法所导致的网络响应时间长、资源占用率较大、业务性能差的问题,本发明实施例提供了一种分布式数据库系统中的表连接方法及系统。所述技术方案如下:
第一方面,本发明实施例提供了一种分布式数据库系统中的数据表连接方法,该分布式数据库系统包括数据节点和协调节点,该方法用于数据节点,包括:
将协调节点发送的第一数据表中第一目标列的数据存储在本地存储器,该第一目标列为第一数据表中与其他数据表连接次数超过预设次数的列;接收协调节点发送的表连接请求,该表连接请求包括第一数据表的标识、第一目标列的标识、第二数据表的标识以及第二数据表的第二目标列的标识;根据表连接请求,从本地存储器中获取第一目标列及位于第二目标列上的第二数据;将第一目标列上的第一数据所在行的数据与第二数据所在行的数据进行连接,以得到连接结果,其中,第一数据为第一目标列上的任一数据,且第一数据与第二数据相同;向协调节点发送连接结果。在该过程中,每个数据节点无需将本地所存储的数据发送至协调节点,根据第一目标列及第二目标列上的数据,在本地即可对第一数据表中的数据和第二数据表中的数据进行连接,不仅减少了数据传输量从而缩短了网络响应时间,因而业务性能较佳,而且能减少对数据节点存储资源的占用。
结合第一方面,在第一方面的第一种可能的实现方式中,该方法还包括:在第一数据表的分布列与第一目标列相异的情况下,数据节点接收协调节点发送的分布列的数据,该分布列为第一数据表的行标识所在的列;将分布列的数据存储在本地存储器。由于数据节点将分布列的数据与连接结果一同发送至协调节点,从而使得协调节点在对连接结果进行处理时,可根据该分布列查找到空洞行标识所在的数据节点,进而获取到空洞行标识所在行上的数据,以提高连接后的数据表的准确性。
结合第一方面或第一方面的第一种实现方式,在第一方面的第二种可能的实现方式中,该方法还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610263605.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据调度的方法及装置
- 下一篇:一种元数据处理方法及装置





