[发明专利]一种多层MLP网络的图分类方法、介质及设备在审
申请号: | 202110071722.6 | 申请日: | 2021-01-19 |
公开(公告)号: | CN112766374A | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 丁静怡;宋健;张向荣;吴建设;焦李成;成若辉;曹小卫 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 高博 |
地址: | 710071 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 多层 mlp 网络 分类 方法 介质 设备 | ||
1.一种多层MLP网络的图分类方法,其特征在于,包括以下步骤:
S1、构建图,并对图结构中每个节点进行独热编码,堆叠所有编码成图的特征矩阵,将图的节点连边表示为邻接矩阵;
S2、利用步骤S1得到的多张图的特征矩阵构建最小批次特征矩阵,将最小批次特征矩阵输入到本网络输入层;
S3、将步骤S2输入层输出的最小批次表示向量输入到BatchnNormal层均值归一化;
S4、利用步骤S3归一化后的最小批次表示向量,乘以最小批次邻接矩阵,输入到本网络中间层,输出最小批次表示向量;
S5、将步骤S4中间输出的最小批次表示向量输入到BatchNorm层归一化后,计算任意一张图中两个有连接关系的节点v,u之间的注意力数值;根据v,u之间的注意力数值构建一个注意力邻接矩阵;多张图构建和最小批次邻接矩阵一样大小的最小批次注意力邻接矩阵,然后将中间层输出的归一化后最小批次表示向量乘以最小批次注意力邻接矩阵的结果,输入到图池化层,聚合为最小批次图表示向量,最后输入到输出层;
S6、根据步骤S2的输入层、步骤S3的BatchNorm层和最小批次邻接矩阵、步骤S5的中间层,最小批次注意力邻接矩阵,图池化层和输出层建立网络模型;
S7、对步骤S6建立的网络模型进行训练,判断训练神经网络的损失值是否收敛,若是,停止训练,得到训练好的神经网络模型;
S8、将待预测的同类的图输入步骤S7训练好的神经网络模型中,输出图标签,完成图分类。
2.根据权利要求1所述的方法,其特征在于,步骤S1中,图结构的每一个节点代表一个实体,节点具有不同的属性,节点之间的连边构建图的邻接矩阵,不同图类别表示成图标签。
3.根据权利要求1所述的方法,其特征在于,步骤S2中,将多张图的特征矩阵按照最小批次叠加,构建一个最小批次特征矩阵,将最小批次特征矩阵输入到模型的输入层;两层线性网络构成一层MLP层表示为输入层,输入层的输入维度是最小批次特征矩阵的维度。
4.根据权利要求1所述的方法,其特征在于,步骤S3中,输入层输出的最小批次表示向量,输入到BatchNormal层归一化过程如下:
其中,x表示输入层输出的最小批次表示向量,代表归一化后最小批次表示向量,E[x]代表按列求均值,Var[x]代表按列求标准差。
5.根据权利要求1所述的方法,其特征在于,步骤S4中,最小批次的邻接矩阵具体为:
其中,A表示最小批次的第一张图的邻接矩阵,N表示最小批次的最后一张图的邻接矩阵。
6.根据权利要求1所述的方法,其特征在于,步骤S5中,计算任意一张图中两个有连接关系的节点v,u之间的注意力数值如下:
其中,W是注意力层的参数,a是注意力向量,||是连接符号,用来将Whv和Whu堆叠起来,xv,xu分别是节点v,u的特征向量。
7.根据权利要求1所述的方法,其特征在于,步骤S5中,多层MLP层级联构建中间层;中间层的输入维度和输出维度是输入层的输出维度;中间层输出的最小批次表示向量经过BatchNorm层归一化后,乘以最小批次注意力邻接矩阵,输入到图池化层聚合,输出最小批次图表示向量,然后输入到输出层,输出最大概率获得图标签;图池化层将最小批次表示向量求和为最小批次图表示向量;输出层的输入维度是中间层的输出维度,输出维度是图标签的类别数目。
8.根据权利要求1所述的方法,其特征在于,步骤S6中,网络模型具体为:
输入层-BN层-乘以最小批次邻接矩阵-第一层中间层-BN层-乘以最小批次注意力邻接矩阵-第二层中间层-BN层-乘以最小批次注意力邻接矩阵;最小批次注意力邻接矩阵-图池化层-输出层-预测图标签;存在多个输出层,对其多个输出层输出先求和再计算最大概率获得图标签;将预测好的图标签和真实的图标签输入到交叉熵损失函数,计算得到损失值,通过反向传播更新模型梯度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110071722.6/1.html,转载请声明来源钻瓜专利网。