[发明专利]一种数据分区方法和设备有效
| 申请号: | 201480000188.8 | 申请日: | 2014-03-05 |
| 公开(公告)号: | CN105517644B | 公开(公告)日: | 2020-04-21 |
| 发明(设计)人: | 时家幸;黄乐;王玉虎 | 申请(专利权)人: | 华为技术有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/28 |
| 代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据 分区 方法 设备 | ||
1.一种数据分区方法,其特征在于,包括:
将分布式数据库中的维表进行数据分区;
根据所述维表的分区特征并按照预设算法建立分区映射表;
根据所述维表对应的事实表中连接键与预设数量按照所述预设算法获取的余数确定所述分区映射表的纵坐标,选取所述纵坐标对应比特值为1的节点为所述连接键对应的事实表数据的分区节点;
将所述事实表的数据按照确定的分区节点进行分区,其中,当根据所述连接键获取的所述纵坐标对应的比特值为1有至少两个节点时,将所述连接键对应的事实表数据同时分布在所述至少两个节点上。
2.根据权利要求1所述的方法,其特征在于,所述将分布式数据库中的维表进行数据分区包括:
按照哈希算法,将所述分布式数据库中的维表进行数据分区,以获取分区后各个节点对应的维表的数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述维表的分区特征并按照预设算法建立分区映射表包括:
根据所述分区后各个节点对应的维表和所述事实表的连接键,与待建立的分区映射表的纵坐标的预设数量,按照预设算法获取余数;
根据所述余数建立所述分区映射表,所述分区映射表为比特向量表,所述比特向量表的横坐标表示各个节点的标识符,纵坐标表示所述连接键与所述预设数量进行预设算法后的余数;
其中,所述预设算法为取模运算、模P加法、模P减法和模P乘法中的其中一个,所述预设数量小于所述维表的维表记录数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若在将所述事实表按照所述分区映射表进行分区时,出现备份的事实表数据没有同时备份在所述至少两个节点上,则根据所述分区映射表查找将所述事实表数据备份成功的节点;
根据所述备份成功的节点中的事实表数据和所述分区映射表,获取丢失的备份事实表数据,以便于从所述备份成功的节点获取所述丢失的备份事实表数据。
5.一种数据分区设备,其特征在于,包括:
第一分区单元,用于将分布式数据库中的维表进行数据分区;
建立单元,用于根据所述维表的分区特征并按照预设算法建立分区映射表;
第二分区单元,用于根据所述维表对应的事实表中连接键与预设数量按照所述预设算法获取的余数确定所述分区映射表的纵坐标,选取所述纵坐标对应比特值为1的节点为所述连接键对应的事实表数据的分区节点;还用于将所述事实表的数据按照确定的分区节点进行分区;以及
备份单元,当根据所述连接键获取的所述纵坐标对应的比特值为1有至少两个节点时,用于将所述连接键对应的事实表数据同时分布在所述至少两个节点上。
6.根据权利要求5所述的设备,其特征在于,所述第一分区单元具体用于:
按照哈希算法,将所述分布式数据库中的维表进行数据分区,以获取分区后各个节点对应的维表的数据。
7.根据权利要求6所述的设备,其特征在于,所述建立单元具体用于:
根据所述分区后各个节点对应的维表和所述事实表的连接键,与待建立的分区映射表的纵坐标的预设数量,按照预设算法获取余数;
根据所述余数建立所述分区映射表,所述分区映射表为比特向量表,所述比特向量表的横坐标表示各个节点的标识符,纵坐标表示所述连接键与所述预设数量进行预设算法后的余数;
其中,所述预设算法为取模运算、模P加法、模P减法和模P乘法中的其中一个,所述预设数量小于所述维表的维表记录数。
8.根据权利要求5所述的设备,其特征在于,还包括:
查找单元,用于若在将所述事实表按照所述分区映射表进行分区时,出现备份的事实表数据没有同时备份在所述至少两个节点上,则根据所述分区映射表查找将所述事实表数据备份成功的节点;
获取单元,用于根据所述备份成功的节点中的事实表数据和所述分区映射表,获取丢失的备份事实表数据,以便于从所述备份成功的节点获取所述丢失的备份事实表数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201480000188.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:多绕组反激式DC/AC变换电路
- 下一篇:游戏机、游戏控制方法以及计算机程序
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





