[发明专利]针对分布式图学习的数据融合方法及装置有效

专利信息
申请号: 202111413646.9 申请日: 2021-11-25
公开(公告)号: CN113835899B 公开(公告)日: 2022-02-22
发明(设计)人: 郭志强 申请(专利权)人: 支付宝(杭州)信息技术有限公司
主分类号: G06F9/50 分类号: G06F9/50
代理公司: 北京亿腾知识产权代理事务所(普通合伙) 11309 代理人: 陈霁;周良玉
地址: 310000 浙江省杭州市*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 针对 分布式 学习 数据 融合 方法 装置
【权利要求书】:

1.一种针对分布式图学习的数据融合方法,用于通过分布式系统针对图数据的分布式图学习过程,分布式系统的单个设备预先分配有所述图数据的多个图节点以及相应的节点连接关系,其中,第一设备包括N个图节点以及M个镜像节点,单个镜像节点是其他设备上的相应图节点的镜像,单个镜像节点在其他设备上对应的单个图节点与所述N个图节点中的单个图节点互为邻居节点;在针对分布式图学习的数据融合过程中,所述方法由所述第一设备执行,包括:

通过相互独立的多个镜像融合线程对所述M个镜像节点分别执行以下融合操作:获取单个镜像节点的当前表征向量,其中,该单个镜像节点的当前表征向量由相应图节点所在设备提供;基于其当前表征向量及其在所述第一设备上的各个邻居节点的当前表征向量,确定该单个镜像节点的镜像融合向量,单个节点的表征向量用于描述相应图节点的属性信息;将所述镜像融合向量加入本地聚合数据序列;

利用发送线程按顺序将所述本地聚合数据序列中已确定的镜像融合向量发送至相应镜像节点对应的图节点所在设备,以供相应图节点所在设备利用相应镜像融合向量确定针对相应图节点融合的属性信息,从而更新相应图节点的当前表征向量。

2.根据权利要求1所述的方法,其中,所述图学习通过具有多层迭代结构的图模型处理所述图数据进行,所述融合操作对应所述图模型的单个层执行,在所述单个层是第一层的情况下,单个图节点的当前表征向量为由该单个图节点对应的实体的属性信息提取的特征向量,在所述单个层不是第一层的情况下,单个图节点的当前表征向量为对应于该单个图节点在前一层融合的属性信息的表征向量。

3.根据权利要求1所述的方法,其中,在单个镜像节点对应的图节点所在设备提供该图节点的当前表征向量的情况下,将该图节点记录至候选节点队列,所述候选节点队列用于存储本地镜像节点或本地图节点的当前表征向量,并由各个融合线程按顺序单次获取单个当前表征向量。

4.根据权利要求1所述的方法,其中,所述单个镜像节点的镜像融合向量经由其在所述N个图节点中的邻居节点的当前表征向量的加和、求平均、加权求和、取中位数之一的方式确定。

5.根据权利要求1所述的方法,其中,所述N个图节点包括第一节点,所述第一节点对应有分布在S个设备的镜像节点以及本地的R个邻居节点,R大于或等于0,针对所述第一节点,所述方法还包括:

通过多个本地融合线程中的单个本地融合线程融合所述R个邻居节点的当前表征向量与所述第一节点的当前表征向量,得到所述第一节点的本地融合向量;

通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量,得到针对所述第一节点融合的属性信息,从而更新所述第一节点的当前表征向量。

6.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:获取所述S个设备分别针对所述第一节点确定的S个镜像融合向量;

将所述S个镜像融合向量与所述第一节点的本地融合向量进行融合。

7.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:

获取从所述S个设备中的单个设备接收到所述第一节点的单个镜像融合向量;

将该单个镜像融合向量聚合到所述第一节点的镜像汇聚向量,直至对将S个设备发送的S个镜像融合向量聚合完毕,得到镜像聚合结果;

将所述镜像聚合结果与所述第一节点的本地融合向量进行融合。

8.根据权利要求5所述的方法,其中,所述通过多个汇聚线程中的单个汇聚线程融合所述本地融合向量以及S个设备分别针对所述第一节点确定的S个镜像融合向量包括:

响应于从S个设备中的单个设备接收到所述第一节点的单个镜像融合向量,将该单个镜像融合向量聚合到所述第一节点的本地融合向量,并用聚合结果更新第一节点的本地融合向量,直至对将S个设备发送的S个镜像融合向量聚合完毕。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111413646.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top