[发明专利]一种基于图注意力网络的隐性偏差指令预测方法及设备有效
申请号: | 202110502177.1 | 申请日: | 2021-05-08 |
公开(公告)号: | CN113238885B | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 马骏驰;熊毅;段宗涛;唐蕾;王路阳 | 申请(专利权)人: | 长安大学 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F18/2415;G06F18/2431;G06N3/042;G06N3/047;G06N3/048;G06N3/08 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 陈翠兰 |
地址: | 710064*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 网络 隐性 偏差 指令 预测 方法 设备 | ||
1.一种基于图注意力网络的隐性偏差指令预测方法,其特征在于,包括如下步骤,
步骤1,对可执行文件中的部分指令进行故障注入,通过注入故障的部分指令得到用于训练的故障标签,其中故障标签包括屏蔽、崩溃、挂起和隐性偏差;
步骤2,对汇编文件中的指令进行属性特征提取得到节点特征;
步骤3,根据汇编文件中的指令构建异构图,获取目标节点的相邻节点,聚合邻居节点信息,得到节点的低维嵌入,进行节点分类;
通过运用注意力机制获取相邻节点对目标节点的重要程度,并通过边的类型聚合邻居节点的信息,得到节点的低维嵌入;
在汇编文件的指令下对节点分类的方法具体步骤如下:
S1,构造异构图G=(V,E),其中异构图G包括一组节点V和一组边E;每一个节点为一条动态指令,并基于相邻节点定义一个计算图;
S2,通过S1中得到的计算图堆叠L个注意层,输入节点特征;
S3,将权重矩阵应用到相邻节点i上,得到下一层节点i的空间投影;
S4,对同一层相同类型的边都实行注意力机制,得到注意力系数;
S5,将每种边类型的注意力系数归一化;根据每条边的权重进行节点聚合,当节点聚合的输出是串联M个单独的注意头的输出时,判断该层不是网络的最后一层;则将该输出作为下一层的输入,在下一层继续执行S3;当节点聚合的输出是对M个单独的注意头输出结果为取平均时,为网络的最后一层,进行节点分类;
步骤4,通过步骤3的节点分类,输出每个节点的低维表示,对每个节点进行预测分类,得到屏蔽、崩溃、挂起和隐性偏差四种故障类型;
步骤5,将步骤4中得到的四种故障类型的嵌入向量进行可视化,通过不同颜色投影至二维空间,得到隐性偏差脆弱指令的预测结果。
2.根据权利要求1中所述的一种基于图注意力网络的隐性偏差指令预测方法,其特征在于,S2中,在L个注意力层中第一层输入节点特征,输出是S5中将M个注意力头串联后的向量;其中从汇编文件中提取的一组节点特征的公式如下:
其中,N是节点数,F是每个节点的属性特征数,h是从汇编文件中提取的节点特征,下标表示节点的序号,上标表示层数。
3.根据权利要求1中所述的一种基于图注意力网络的隐性偏差指令预测方法,其特征在于,S3中采用线性变换,将权重矩阵应用到每个相邻节点i∈Nj,其中Nj是图中节点j的一组相邻节点,具体公式如下,
其中是L层嵌入到第(L+1)层、第m个注意头的节点i的空间投影;表示权重矩阵,下标表示一种类型的边,上标表示第L+1层和第m个单独的注意力头,hi表示节点i的特征向量。
4.根据权利要求1中所述的一种基于图注意力网络的隐性偏差指令预测方法,其特征在于,S4中对同一层相同类型的边都实行自注意力机制,其中自注意力机制为a:RF'×RF'→R;
其中,a表示注意力机制;R表示实数集;F表示特征的维度;
注意力系数公式如下:
其中未经处理的注意力系数表示邻居节点i对目标节点j的重要性;
a表示注意力机制,是一个向量;h是节点特征;σ是由LeakyReLU(.)实现的激活函数。
5.根据权利要求1中所述的一种基于图注意力网络的隐性偏差指令预测方法,其特征在于,S5中通过softmax函数将所有边的系数归一化到节点j,具体公式如下,
其中,α表示经过softmax函数处理的注意力系数;
利用邻居节点与节点j相连的每条边的权重,得到聚合后的节点j,具体公式如下:
表示聚合之后的节点特征;α表示注意力系数;是L层嵌入到第(L+1)层、第m个注意头的节点j的空间投影;
节点j的嵌入向量通过连接m个单独的注意头的输出,产生第(L+1)个注意力层的输出,具体公式如下:
在M1的情况下,将每个单独的注意力头的输出串联起来;
是每个注意力头的输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于长安大学,未经长安大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110502177.1/1.html,转载请声明来源钻瓜专利网。