[发明专利]基于语义信息的多通道图池化方法在审
| 申请号: | 202310070258.8 | 申请日: | 2023-02-07 |
| 公开(公告)号: | CN115965805A | 公开(公告)日: | 2023-04-14 |
| 发明(设计)人: | 孙志刚;曾佳悦;李先贤;王利娥 | 申请(专利权)人: | 广西师范大学 |
| 主分类号: | G06V10/762 | 分类号: | G06V10/762;G06V10/778;G06V10/82;G06V20/70;G06V10/764;G06N3/042;G06N3/047;G06N3/0464;G06N3/08 |
| 代理公司: | 桂林市华杰专利商标事务所有限责任公司 45112 | 代理人: | 周雯 |
| 地址: | 541004 广西壮*** | 国省代码: | 广西;45 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 语义 信息 通道 图池化 方法 | ||
1.基于语义信息的多通道图池化方法,其特征在于,包括如下步骤:
1)图数据预处理阶段:
1.1)构造语料库集合:
利用WL子树模式迭代,提取图中不同高度的子树模式构造语料库集合CS;
对图数据集G中所有图进行WL子树模式迭代,通过迭代地聚合每个节点的邻居特征来增强中心节点特征,从而提取到以图中节点为根的不同高度的子树模式,其中第i次迭代得到i阶子树模式,即高度为i的子树模式,构成语料库Ci=(Ωi,Ri),其中Ωi为包含G中所有不同的i阶子树模式的词汇表,Ri为由G中每个图的i阶子树模式序列组成的集合;相应的,在构造语料库时考虑图中不同高度的子树模式,则为图数据集G构造一个语料库集合CS={Ci|i=1,2,3,...};
1.2)学习节点多尺度特征向量:
使用Doc2Vec模型分别训练CS中的每个语料库,得到图中节点的多尺度特征向量;
将Ci中的每个子树模式作为一个单词,利用Doc2Vec模型对Ci进行训练,从而得到i阶子树模式的向量表示,将以图中节点为根的不同高度子树模式的向量表示进行拼接得到节点的多尺度特征向量;对于包含n个节点的图g∈G,将n个节点的多尺度特征向量按行排列组成g的多尺度特征矩阵M;
2)GCN卷积阶段:
2.1)利用步骤1.2)中图g的多尺度特征矩阵M和邻接矩阵A,采用GCN模型进行卷积操作,利用图中拓扑结构和节点特征迭代学习节点的特征向量,具体公式定义如下:
其中表示添加了自循环的邻接矩阵,表示的对角度矩阵,W(l)是GCN中第l层的权重矩阵,σ()是非线性激活函数,初始化X(0)=M,将最后一层的特征向量作为更新后的特征矩阵X,用于后续任务输入;
3)多通道图池化阶段:
利用图池化操作提高图神经网络的泛化能力;
图中节点具有不同方面的特征和角色,为了弥补单通道池化丢失的节点信息、区分易混淆的结构信息,提出一种多通道的图池化模块MCP:首先,设计三个通道分别独立的从不同的角度进行图池化;然后,执行跨通道卷积操作,融合不同通道的池化图;最后,对池化结果进行汇总,得到经本层MCP模块池化后的图特征矩阵和邻接矩阵;
3.1)多通道池化:
采用三个独立的通道分别对图进行池化,从不同的角度捕获图的特征;
给定图g(X,A),通道一基于节点选择的池化方法捕获图的局部拓扑信息,通道二基于节点聚类的池化方法捕获图的全局拓扑信息,通道三基于节点选择的池化方法捕获节点的语义信息,具体通道设置如下:
3.1.1)通道一考虑局部拓扑结构:采用特征向量中心性作为节点重要性的衡量指标,该指标综合考虑了节点本身重要性和邻居节点重要性,若一个节点所连接的节点中心性值越高,则该节点的中心性值就越高,选择特征向量中心性最高的前k个节点并返回所选节点对应的索引集Idx1,最终生成由所选节点对应的生成子图构成的细粒度池化图FP1;
3.1.2)通道二考虑全局拓扑结构:参考DiffPool节点聚类池化方法,将节点逐层聚类成簇,每个簇作为粗化图中的一个节点,其中簇分配矩阵生成器定义为S=softmax(GNNpool(A,X)),表示图中每个节点分配到不同簇中的概率;同时,利用另外一个GNN学习图的特征矩阵Z=GNNembed(A,X),根据分配矩阵S和特征矩阵Z,生成粗粒度的池化图CP;
3.1.3)通道三考虑节点语义信息:首先使用readout()函数获取当前图的整体表示F,然后对F进行非线性变换,得到最后通过内积得到节点vi的重要性得分其中X[i]为节点vi的特征向量;选择前k个重要节点并返回这些节点在图中的索引集Idx2,最终生成由所选节点对应的生成子图构成的细粒度池化图FP2;
3.2)跨通道卷积:
使用跨通道卷积操作融合步骤3.1)得到的三个池化图FP1、CP、FP2;
3.2.1)融合通道一和通道二:首先利用通道二的分配矩阵S和通道一所选择的节点索引集Idx1计算跨通道关联矩阵Afuse1,其中Afus[j]=S[Idx1[j]],0≤j<|Idx1|,表示Afuse1的第j行为通道一中节点j与通道二中每个簇之间的关联程度,然后进行跨通道卷积以增强通道一的特征矩阵,卷积过程为:Xfp1=σ([Xfp1+Afuse·Xcp]·W),其中Xfp和Xcp分别表示池化图FP1和CP的特征矩阵,W是可学习的参数矩阵;
3.2.2)融合通道二和通道三:首先利用通道二的分配矩阵S和通道三所选择的节点索引集Idx2计算跨通道关联矩阵Afus,其中Afuse2[j]=S[Idx2[j]],0≤\<|Idx2|,表示Afuse2的第\行为通道三中节点\与通道二中每个簇之间的关联程度,然后进行跨通道卷积以增强通道三的特征矩阵,卷积过程如下:Xfp2=σ([Xfp2+Afuse2·Xcp]·W),其中Xfp2和Xcp分别表示池化图FP2和CP的特征矩阵,W是可学习的参数矩阵;
3.3)池化聚合:
为了获得包含步骤3.2)中两个增强通道的判别性信息的池化图,对步骤3.2)中得到的两个池化图进行如下聚合:
3.3.1)合并步骤3.1)中得到的索引集Idx=Idx1∪Idx2;
3.3.2)按照索引集Idx对应的节点从原始图中提取生成子图,该子图对应的邻接矩阵为Ap;
3.3.3)利用以下公式计算最终的聚合池化图的特征矩阵X′p:
X′p=σ(XpWp),
Wp为可学习的参数矩阵,||表示拼接操作;
3.4)将步骤3.3)得到的池化图的特征矩阵输入readout()函数,得到的特征向量作为本层MCP模块学习到的图特征向量;
4)图分类阶段:
4.1)将GCN模块和MCP模块视为统一的模块单元MGCN,重复3次步骤2.1)-3.4),进而堆叠3个MGCN模块实现分层池化,将这三层学习到的图特征向量按位相加得到最终的图级别的特征向量,该特征向量具有丰富的语义信息且包含了不同角度的判别性图特征;
4.2)使用具有softmax层的多层感知机作为图分类模型,将图数据集中所有图的特征向量和类别标签输入多层感知机训练图分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广西师范大学,未经广西师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310070258.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:耐高温汽包双色水位计
- 下一篇:多锯头锯切机摆动锯切机构
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置





