[发明专利]阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置

权利要求书

1.一种阅读理解漏洞事件触发词抽取和漏洞类型识别方法，其特征在于，包括以下步骤：

(1)采集漏洞数据，获取漏洞条目的CVE-ID、每个ID对应的漏洞描述及漏洞类型，并为漏洞事件设计提问问题Q；

(2)基于BERT预训练模型，进行漏洞描述语句表示学习，作为GCN输入的初始节点特征；

(3)使用图卷积网络GCN，提取漏洞信息的节点特征；

(4)基于BERT微调模型中的问答任务，实现漏洞事件触发词识别及分类；

所述步骤(2)包括以下步骤：

(21)将设计的提问问题Q与漏洞条目的描述Text转换成BERT预训练模型的输入序列；即采用特殊标记[CLS]放在开头，用来融合描述中每个单词的语义信息，问题和漏洞描述使用[SEP]分隔；将每个单词转换成Token嵌入、Segment嵌入和Position嵌入，并对这些嵌入表示求和得到表示向量；

(22)将表示向量传递给BERT的编码器层，利用Transformer结合掩码语言模型、预测下一句任务实现双向语言模型任务，进行表示学习，得到嵌入向量X，作为GCN输入的初始节点特征；

所述步骤(3)包括以下步骤：

(31)基于得到漏洞条目的文本描述，利用斯坦福句法分析工具获取漏洞描述文本的句法依存关系；

(32)根据句法依存关系构建漏洞描述的句法信息图G＝(V,E)；其中V是漏洞节点v₁,v₂,...,v_i...,v_n的集合，v_i表示漏洞描述中的第i个单词，n是漏洞描述中的单词数量,E是节点v_i到节点v_j有向边(v_i,v_j)的集合；同时为每条有向边增加一条反向边(v_j,v_i)，每个节点v_i添加一个自循环边(v_i,v_i)，并为每一条边添加关系类型标签K(v_i,v_j)；

基于句法信息图G获得邻接矩阵A，即若节点v_i和节点v_j相连，邻接矩阵A中第i行第j列的元素a_ij＝1，否则a_ij＝0；是邻接矩阵A的规范化矩阵，由如下变换得到：

式中，A′＝A+I，其中I是单位矩阵；是A′的度矩阵；

(34)对漏洞节点信息进行梯度下降训练，提取漏洞节点特征，变换如下：

式中，是图卷积神经网络第l层输入的漏洞节点信息；利用规范化矩阵以及每层特定类型标签K(v_i,v_j)的权重矩阵做线性变换，之后再经过非线性激活函数σ得到下一层输入的漏洞节点信息经过多次卷积训练，从而获取漏洞节点的特征向量；

(35)针对漏洞事件触发词提问的问题也做如上操作，构造其句法依存关系，获取问题语句的特征向量；

所述步骤(4)包括以下步骤：

(41)将问题描述特征向量A及漏洞描述特征向量B，接入BERT问答任务中的全连接层和softmax层；

(42)为BERT问答任务引入一个起始向量S和一个结束向量E，计算漏洞描述中第i个单词作为答案跨度开始的概率P_i，概率最高单词的作为答案跨度的开始，由如下变换得到：

其中，T_i是单词i的特征向量；同理利用公式计算答案跨度的结束；将候选答案从位置i到位置j的得分定义为S_i,j＝S·T_i+E·T_j，以j≥i时的最大得分跨度作为预测结果；

同时进行无答案预测，将没有答案的问题视为以[CLS]标记开始和结束的答案跨度，计算无答案的得分S_null＝S·C+E·C，其中，C是特殊标记[CLS]的向量；

将无答案跨度S_null的得分与最佳非空跨度的得分S_i,j进行比较；当S_i,jS_null+τ时，τ是自定义的阈值，预测一个非空答案，该答案即为漏洞事件触发词；

(43)基于漏洞事件触发词，将其中的每个单词的特征向量作为逻辑回归模型的输入，并计算漏洞事件触发词属于不同漏洞类型的概率以预测漏洞事件的类别。

2.一种阅读理解漏洞事件触发词抽取和漏洞类型识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1所述的阅读理解漏洞事件触发词抽取和漏洞类型识别方法。