[发明专利]一种数据处理方法及装置在审
| 申请号： | 201711025417.3 | 申请日： | 2017-10-27 |
| 公开（公告）号： | CN110019360A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 熊亮春 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F16/2455 | 分类号： | G06F16/2455;G06F16/22 |
| 代理公司： | 北京安信方达知识产权代理有限公司 11262 | 代理人： | 孙敬霞;栗若木 |
| 地址： | 英属开曼群岛大开*** | 国省代码： | 开曼群岛;KY |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 哈希表 数据处理 哈希连接 表数据 不一致 扫描 复制 合并 广播 申请 | ||
1.一种数据处理方法，包括：
通过扫描本地的内表数据生成第一哈希表；
广播所述第一哈希表，以便其他计算节点基于所述第一哈希表得到第二哈希表，所述第二哈希表至少由所述第一哈希表合并得到。
2.根据权利要求1所述的数据处理方法，其特征在于，
所述方法还包括：将所述第一哈希表压缩；
所述广播所述第一哈希表，包括：广播所述压缩后的第一哈希表。
3.根据权利要求1或2所述的数据处理方法，其特征在于，所述广播所述第一哈希表，包括如下之一：
向除当前计算节点之外的计算节点广播所述第一哈希表；
向目标计算节点广播所述第一哈希表。
4.一种数据处理方法，包括：
获取全量哈希表，所述全量哈希表至少由第一哈希表合并得到，所述第一哈希表通过扫描计算节点的本地内表数据生成；
将所述全量哈希表与外表进行哈希连接。
5.根据权利要求4所述的数据处理方法，其特征在于，所述获取全量哈希表包括如下之一：
接收来自其他计算节点的第一哈希表，将自身得到的第一哈希表与所述来自其他计算节点的第一哈希表合并，得到所述全量哈希表；
接收来自目标计算节点的所述全量哈希表。
6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：
在接收到来自其他计算节点的压缩的第一哈希表时，在所述合并之前将所述压缩的第一哈希表解压缩。
7.根据权利要求4所述的数据处理方法，其特征在于，所述将所述全量哈希表与外表进行哈希连接，包括：
根据来自协调节点的通知，将所述外表的部分数据进行分发，以便通过其他计算节点执行所述外表的部分数据与所述全量哈希表的哈希连接操作。
8.根据权利要求4所述数据处理方法，其特征在于，所述将所述全量哈希表与外表进行哈希连接，包括：
接收来自其他计算节点的外表数据，并将所述外表数据与所述全量哈希表进行哈希连接操作。
9.一种数据处理方法，包括：
通过扫描内表数据生成第一哈希表；
广播所述第一哈希表；
获取全量哈希表，所述全量哈希表由所述第一哈希表合并得到；
将所述全量哈希表与外表进行哈希连接。
10.根据权利要求9所述的数据处理方法，其特征在于，
所述方法还包括：将所述第一哈希表压缩；
所述广播所述第一哈希表，包括：广播所述压缩后的第一哈希表。
11.根据权利要求9或10所述的数据处理方法，其特征在于，所述广播所述第一哈希表，包括如下之一：
向除当前计算节点之外的计算节点广播所述第一哈希表；
向目标计算节点广播所述第一哈希表，以便所述目标计算节点基于所述第一哈希表得到所述全量哈希表或所述全量哈希表。
12.根据权利要求9或10所述的数据处理方法，其特征在于，所述获取全量哈希表，包括如下之一：
接收来自其他计算节点的第一哈希表，将本地的所述第一哈希表与所述来自其他计算节点的第一哈希表合并，得到所述全量哈希表；
接收来自目标计算节点的全量哈希表。
13.根据权利要求12所述的数据处理方法，其特征在于，所述方法还包括：
在接收到来自其他计算节点的压缩的第一哈希表时，在所述合并之前将所述压缩的第一哈希表解压缩。
14.根据权利要求9所述数据处理方法，其特征在于，所述将所述全量哈希表与外表进行哈希连接，包括：
根据来自协调节点的通知，将所述外表的部分数据进行分发。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711025417.3/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种防止缓存击穿的方法、装置及系统
- 下一篇：一种数据的缓存方法及装置
