[发明专利]一种基于图数据的分布式计算方法及装置在审
| 申请号: | 202111183041.5 | 申请日: | 2021-10-11 |
| 公开(公告)号: | CN113900786A | 公开(公告)日: | 2022-01-07 |
| 发明(设计)人: | 周晶;孙喜民;郑斌;李鑫;孙博 | 申请(专利权)人: | 国网电子商务有限公司;国网电商科技有限公司 |
| 主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F16/27;G06F16/901 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 吴晓静 |
| 地址: | 100053 北*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 数据 分布式 计算方法 装置 | ||
1.一种基于图数据的分布式计算方法,其特征在于,包括:
在接收到对当前图数据的计算请求时,将所述当前图数据传递给预设的图数据计算模型,其中,所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建;
所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算,其中,所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。
2.根据权利要求1所述的方法,其特征在于,所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建包括:
获取所述BSP计算模型中的各个超步,其中,每个超步包括:计算过程、通讯过程和栅栏同步过程;
将所述计算过程依据所述GAS计算模型划分为负责提取消息的信息收集阶段,负责基于收集消息进行本地处理的应用节点和负责发送新消息的分发阶段。
3.根据权利要求1所述的方法,其特征在于,在所述目标计算模式为同步计算模式的情况下,所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算,包括:
采用同步的控制和数据流将所述当前图数据基于迭代执行;
当前顶点的顶点值基于上一轮领接顶点值进行计算;
将所述顶点值基于消息同步给备份节点。
4.根据权利要求1所述的方法,其特征在于,在所述目标计算模式为混合计算模式的情况下,所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算,包括:
遍历所述预设计算模型中被激活的顶点,基于同步模式的顶点调度对所述被激活的顶点进行计算;
在计算过程中采用异步消息传递以使当前被激活的顶点基于领接顶点值进行分布式计算。
5.根据权利要求1所述的方法,其特征在于,在所述目标计算模式为一步计算模式的情况下,所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算,包括:
采用异步的控制和数据流,将所述当前图数据进行异步传送;
所述预设的图数据计算模型的被激活的顶点接收的所述当前图数据存储到分布式调度队列;
基于所述分布式调度队列进行分布式计算。
6.一种基于图数据的分布式计算装置,其特征在于,包括:
传递模块,用于在接收到对当前图数据的计算请求时,将所述当前图数据传递给预设的图数据计算模型,其中,所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建;
计算模块,用于所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算,其中,所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。
7.根据权利要求6所述的装置,其特征在于,所述传递模块中所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建包括:
获取单元,用于获取所述BSP计算模型中的各个超步,其中,每个超步包括:计算过程、通讯过程和栅栏同步过程;
划分单元,用于将所述计算过程依据所述GAS计算模型划分为负责提取消息的信息收集阶段,负责基于收集消息进行本地处理的应用节点和负责发送新消息的分发阶段。
8.根据权利要求6所述的装置,其特征在于,在所述目标计算模式为同步计算模式的情况下,所述计算模块包括:
迭代单元,用于采用同步的控制和数据流将所述当前图数据基于迭代执行;
第一计算单元,用于当前顶点的顶点值基于上一轮领接顶点值进行计算;
同步单元,用于将所述顶点值基于消息同步给备份节点。
9.根据权利要求6所述的装置,其特征在于,在所述目标计算模式为混合计算模式的情况下,所述计算模块包括:
第二计算单元,用于遍历所述预设计算模型中被激活的顶点,基于同步模式的顶点调度对所述被激活的顶点进行计算;
第三计算单元,用于在计算过程中采用异步消息传递以使当前被激活的顶点基于领接顶点值进行分布式计算。
10.根据权利要求6所述的装置,其特征在于,在所述目标计算模式为一步计算模式的情况下,所述计算模块包括:
传送单元,用于采用异步的控制和数据流,将所述当前图数据进行异步传送;
存储单元,用于所述预设的图数据计算模型的被激活的顶点接收的所述当前图数据存储到分布式调度队列;
第四计算单元,用于基于所述分布式调度队列进行分布式计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网电子商务有限公司;国网电商科技有限公司,未经国网电子商务有限公司;国网电商科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111183041.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





