[发明专利]针对分布式图学习的数据融合方法及装置有效
申请号: | 202111413646.9 | 申请日: | 2021-11-25 |
公开(公告)号: | CN113835899B | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 郭志强 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 针对 分布式 学习 数据 融合 方法 装置 | ||
1.一种针对分布式图学习的数据融合方法,用于通过分布式系统针对图数据的分布式图学习过程,分布式系统的单个设备预先分配有所述图数据的多个图节点以及相应的节点连接关系,其中,第一设备包括N个图节点以及M个镜像节点,单个镜像节点是其他设备上的相应图节点的镜像,单个镜像节点在其他设备上对应的单个图节点与所述N个图节点中的单个图节点互为邻居节点;在针对分布式图学习的数据融合过程中,所述方法由所述第一设备执行,包括:
通过相互独立的多个镜像融合线程对所述M个镜像节点分别执行以下融合操作:获取单个镜像节点的当前表征向量,其中,该单个镜像节点的当前表征向量由相应图节点所在设备提供;基于其当前表征向量及其在所述第一设备上的各个邻居节点的当前表征向量,确定该单个镜像节点的镜像融合向量,单个节点的表征向量用于描述相应图节点的属性信息;将所述镜像融合向量加入本地聚合数据序列;
利用发送线程按顺序将所述本地聚合数据序列中已确定的镜像融合向量发送至相应镜像节点对应的图节点所在设备,以供相应图节点所在设备利用相应镜像融合向量确定针对相应图节点融合的属性信息,从而更新相应图节点的当前表征向量。
2.根据权利要求1所述的方法,其中,所述图学习通过具有多层迭代结构的图模型处理所述图数据进行,所述融合操作对应所述图模型的单个层执行,在所述单个层是第一层的情况下,单个图节点的当前表征向量为由该单个图节点对应的实体的属性信息提取的特征向量,在所述单个层不是第一层的情况下,单个图节点的当前表征向量为对应于该单个图节点在前一层融合的属性信息的表征向量。
3.根据权利要求1所述的方法,其中,在单个镜像节点对应的图节点所在设备提供该图节点的当前表征向量的情况下,将该图节点记录至候选节点队列,所述候选节点队列用于存储本地镜像节点或本地图节点的当前表征向量,并由各个融合线程按顺序单次获取单个当前表征向量。
4.根据权利要求1所述的方法,其中,所述单个镜像节点的镜像融合向量经由其在所述N个图节点中的邻居节点的当前表征向量的加和、求平均、加权求和、取中位数之一的方式确定。
5.根据权利要求1所述的方法,其中,所述N个图节点包括第一节点,所述第一节点对应有分布在S个设备的镜像节点以及本地的R个邻居节点,R大于或等于0,针对所述第一节点,所述方法还包括:
通过多个本地融合线程中的单个本地融合线程融合所述R个邻居节点的当前表征向量与所述第一节点的当前表征向量,得到所述第一节点的本地融合向量;
通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量,得到针对所述第一节点融合的属性信息,从而更新所述第一节点的当前表征向量。
6.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:获取所述S个设备分别针对所述第一节点确定的S个镜像融合向量;
将所述S个镜像融合向量与所述第一节点的本地融合向量进行融合。
7.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:
获取从所述S个设备中的单个设备接收到所述第一节点的单个镜像融合向量;
将该单个镜像融合向量聚合到所述第一节点的镜像汇聚向量,直至对将S个设备发送的S个镜像融合向量聚合完毕,得到镜像聚合结果;
将所述镜像聚合结果与所述第一节点的本地融合向量进行融合。
8.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:
响应于从S个设备中的单个设备接收到所述第一节点的单个镜像融合向量,将该单个镜像融合向量聚合到所述第一节点的本地融合向量,并用聚合结果更新第一节点的本地融合向量,直至对将S个设备发送的S个镜像融合向量聚合完毕。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111413646.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置