[发明专利]图神经网络训练方法、系统、计算机设备及存储介质有效
申请号: | 202110602892.2 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113222143B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 李登昊;王健宗;黄章成 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06N3/098 | 分类号: | G06N3/098;G06F16/2455;G06F21/62 |
代理公司: | 深圳国新南方知识产权代理有限公司 44374 | 代理人: | 周雷 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 训练 方法 系统 计算机 设备 存储 介质 | ||
1.一种图神经网络训练方法,其特征在于,应用在图神经网络训练系统中,所述图神经网络训练系统包括多个用户端以及一个训练端;所述图神经网络训练方法包括:
通过所述训练端初始化图神经网络的网络参数;其中,所述网络参数包括用户节点对应的第一特征、全局推荐项目对应的第二特征以及所述用户节点与对应的目标推荐项目之间的连接权值;所述目标推荐项目为所述全局推荐项目中与所述用户节点具有连接关系的推荐项目;所述第二特征包括目标推荐项目对应的目标特征以及非目标推荐项目对应的非目标特征;
通过所述训练端将所述网络参数发送至与所述用户节点对应的用户端,以使所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络,得到真实梯度;其中,所述真实梯度包括所述第一特征、所述目标特征以及所述连接权值对应的真实梯度;
通过所述用户端生成所述非目标特征的随机伪梯度,并将所述随机伪梯度与所述真实梯度作为所述用户端对应的局部梯度发送至所述训练端;
通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合,得到所述网络参数对应的聚合梯度,并将所述聚合梯度返回至对应的用户端,以使用户端根据所述聚合梯度更新本地的图神经网络。
2.如权利要求1所述图神经网络训练方法,其特征在于,所述目标推荐项对应一真实标注值;所述通过所述用户端根据所述网络参数和预先构建的本地子图训练本地的图神经网络,得到真实梯度,包括:
基于所述网络参数初始化所述图神经网络;
将所述本地子图输入至所述图神经网络进行预测,得到所述图神经网络输出的预测结果;
根据所述预测结果以及所述真实标注值,计算网络损失;
根据所述网络损失,计算所述真实梯度。
3.如权利要求2所述图神经网络训练方法,其特征在于,所述根据所述预测结果以及所述真实标注值,计算网络损失,包括:
若所述图神经网络的预测任务为分类任务,则调用交叉熵损失函数,根据所述预测结果以及所述真实标注值,计算网络损失;
若所述图神经网络的预测任务为回归任务,则调用均方误差损失函数,根据所述预测结果以及所述真实标注值,计算网络损失。
4.如权利要求3所述图神经网络训练方法,其特征在于,所述根据所述网络损失,计算所述真实梯度,包括:
根据所述网络损失以及所述第一特征,计算所述第一特征对应的真实梯度;
根据所述网络损失以及所述连接权值,计算所述连接权值对应的真实梯度;
根据所述网络损失以及所述目标特征,计算所述目标特征对应的真实梯度。
5.如权利要求4所述图神经网络训练方法,其特征在于,所述通过所述用户端生成所述非目标特征的随机伪梯度,包括:
根据随机函数,生成一组零均值的随机数;
将所述零均值的随机数作为所述非目标特征对应的随机伪梯度。
6.如权利要求5所述图神经网络训练方法,其特征在于,所述通过所述训练端对接收到的各用户端发送的所述局部梯度进行梯度聚合,得到聚合梯度,包括:
对所述各用户端发送的局部梯度进行累加处理,以将得到的累加结果作为所述聚合梯度;或者
对所述各用户端发送的局部梯度进行取平均处理,以将得到的平均值作为所述聚合梯度。
7.如权利要求2所述图神经网络训练方法,其特征在于,所述本地子图包括用户节点以及与所述用户节点具有连接关系的目标推荐项目;所述将所述本地子图输入至所述图神经网络进行预测,得到所述图神经网络输出的预测结果,包括:
基于所述连接权值,对所述用户节点以及所述目标推荐项目进行聚合更新,得到所述用户节点对应的第一聚合特征以及所述目标推荐项目对应的第二聚合特征;
计算所述第一聚合特征以及所述第二聚合特征间的相似度,得到所述图神经网络输出的预测结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110602892.2/1.html,转载请声明来源钻瓜专利网。