[发明专利]一种基于拓扑感知文本表征的网络嵌入学习方法有效
申请号: | 202110287783.6 | 申请日: | 2021-03-17 |
公开(公告)号: | CN113111224B | 公开(公告)日: | 2023-08-18 |
发明(设计)人: | 苏勤亮;陈佳星 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/906;G06F16/34;G06N3/042 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 拓扑 感知 文本 表征 网络 嵌入 学习方法 | ||
1.一种基于拓扑感知文本表征的网络嵌入学习方法,其特征在于,包括以下步骤:
S1:使用图神经网络提取文本网络中结点的局部拓扑结构信息,获取所有结点的拓扑结构表征;
S2:将S1得到的结点的拓扑结构表征输入到滤波器生成模块,生成拓扑感知的滤波器,并将得到的拓扑感知滤波器和文本输入到卷积神经网络模块中,生成拓扑感知的文本表征;
S3:通过已有的网络嵌入模型获取上下文感知的文本表征,与S2中得到的拓扑感知的文本表征结合起来,得到网络结点最终的文本表征;将拓扑结构表征和文本表征结合起来,得到最终的网络结点表征;
所述步骤S1的具体过程包括:
首先为网络中的每个结点随机初始化一个拓扑结构表征,结点的初始结构表征用表示,根据输入的网络的邻接矩阵,从结点的所有邻居结点中随机采样出多跳邻居,每一跳的邻居数量是固定的,对结点采样跳的邻居后,获得关于结点的局部拓扑图;
所述步骤S1的具体过程还包括:
采样得到结点的局部拓扑图后,再利用图神经网络一层一层地由外往内学习结点的结构表征,如公式(1)(2):
其中, 是图神经网络的参数;表示第个结点在层的邻居;用于将所有邻居结点的向量表征聚集起来,构成一个矩阵; 是激活函数;
所述步骤S1的具体过程还包括:
经过层后得到结点的局部拓扑结构表征,如公式(3)所示:
(3);
所述步骤S2的具体过程包括:
将步骤S1得到的拓扑结构表征输入到一个滤波器生成模块,生成拓扑感知的滤波器,如公式(4):
(4)
其中, 表示反卷积神经网络;
所述步骤S2的具体过程还包括:将输入文本和拓扑感知滤波器一起输入到卷积神经网络中,并通过非线性变换得到基于局部拓扑结构信息的文本表征,称为拓扑感知的文本表征,如公式(5)(6):
其中, 是卷积神经网络,b是卷积层中的偏置项;是非线性激活函数;代表平均池化操作;
所述步骤S3的具体过程包括:
将文本输入到已有的上下文感知的网络嵌入模型中,获取上下文本感知的文本表征;
所述步骤S3的具体过程还包括:
将上下文本感知的文本表征与步骤S2中得到的拓扑感知的文本表征进行线性加权,得到网络结点最终的文本表征,如公式(7):
(7)
其中, 是模型的一个参数;
所述步骤S3的具体过程还包括:
将步骤S1得到的拓扑结构表征和步骤S3得到的文本表征拼接起来,获取最终的网络结点表征,如公式(8):
(8)。
2.根据权利要求1所述的基于拓扑感知文本表征的网络嵌入学习方法,其特征在于, 是一个可学习的参数,与模型中的其他参数一起在训练过程中学习得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110287783.6/1.html,转载请声明来源钻瓜专利网。