[发明专利]分布式计算方法、装置和系统有效
申请号: | 201410136942.2 | 申请日: | 2014-04-04 |
公开(公告)号: | CN104980462B | 公开(公告)日: | 2018-03-30 |
发明(设计)人: | 刘科峰;蔡晨;周明辉;叶星 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司11240 | 代理人: | 李志刚,吴贵明 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 计算方法 装置 系统 | ||
1.一种分布式计算方法,其特征在于,包括:
获取计算机节点接收到的聚合数据,其中,所述聚合数据为用于聚合操作的数据;
将所述聚合数据存入至少一个key-value数据库;
在所述至少一个key-value数据库中对所述聚合数据进行计算,得到计算结果;
将所述计算结果返回给所述计算机节点;
其中,对所述聚合数据进行计算的方法为对所述聚合数据进行迭代计算;
其中,在将所述聚合数据存入至少一个key-value数据库之前,所述分布式计算方法还包括:确定所述聚合数据的聚合操作的操作类型;根据所述操作类型从所述至少一个key-value数据库中选择所述操作类型对应的数据结构;其中,将所述聚合数据存入至少一个key-value数据库包括:所述计算机节点将所述聚合数据以选择的数据结构写入所述至少一个key-value数据库;
其中,在所述至少一个key-value数据库中对所述聚合数据进行迭代计算,得到计算结果包括:根据所述操作类型创建所述聚合数据对应的迭代公式;以及通过创建的迭代公式在所述至少一个key-value数据库中对所述聚合数据进行迭代计算。
2.根据权利要求1所述的分布式计算方法,其特征在于,所述计算机节点包括第一计算机节点和第二计算机节点,其中,
获取计算机节点接收到的聚合数据包括:所述至少一个key-value数据库获取所述第一计算机节点接收到的聚合数据,
在所述至少一个key-value数据库中对所述聚合数据进行计算,得到计算结果之后,所述分布式计算方法还包括:所述第二计算机节点从所述至少一个key-value数据库中获取所述计算结果;所述第二计算机节点基于获取到的计算结果进行数据计算。
3.根据权利要求1所述的分布式计算方法,其特征在于,将所述聚合数据存入至少一个key-value数据库包括:
所述计算机节点将所述聚合数据转化为键值对;
通过哈希算法确定与所述聚合数据的操作类型相同的key-value数据库的存储空间;以及
将转化的键值对写入所述存储空间中。
4.根据权利要求1至3中任一项所述的分布式计算方法,其特征在于,所述至少一个key-value数据库包括redis数据库。
5.一种分布式计算装置,其特征在于,包括:
第一获取单元,用于获取计算机节点接收到的聚合数据,其中,所述聚合数据为用于聚合操作的数据;
存入单元,用于将所述聚合数据存入至少一个key-value数据库;
第一计算单元,用于在所述至少一个key-value数据库中对所述聚合数据进行计算,得到计算结果;
返回单元,用于将所述计算结果返回给所述计算机节点;
其中,对所述聚合数据进行计算的方法为对所述聚合数据进行迭代计算;
其中,所述分布式计算装置还包括:确定单元,用于在将所述聚合数据存入至少一个key-value数据库之前,确定所述聚合数据的聚合操作的操作类型;选择单元,用于根据所述操作类型从所述至少一个key-value数据库中选择所述操作类型对应的数据结构;其中,所述存入单元包括:第一写入模块,用于使得所述计算机节点将所述聚合数据以选择的数据结构写入所述至少一个key-value数据库;
其中,所述第一计算单元包括:创建模块,用于根据所述操作类型创建所述聚合数据对应的迭代公式;以及计算模块,用于通过创建的迭代公式在所述至少一个key-value数据库中对所述聚合数据进行迭代计算。
6.根据权利要求5所述的分布式计算装置,其特征在于,所述计算机节点包括第一计算机节点和第二计算机节点,其中,
所述第一获取单元包括:第一获取模块,用于使得所述至少一个key-value数据库获取所述第一计算机节点接收到的聚合数据,
所述分布式计算装置还包括:第二获取单元,用于在所述至少一个key-value数据库中对所述聚合数据进行迭代计算,得到计算结果之后,使得所述第二计算机节点从所述至少一个key-value数据库中获取所述计算结果;第二计算单元,用于使得所述第二计算机节点基于获取到的计算结果进行数据计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410136942.2/1.html,转载请声明来源钻瓜专利网。