[发明专利]一种基于深度学习的威胁情报信息抽取方法

权利要求书

1.一种基于深度学习的威胁情报信息抽取方法，其特征在于，包括以下步骤：

S1、情报采集：收集APT报告，对不同源分析网页结构设计web爬虫调用Request库完成非结构化情报文本的采集，对URL进行MD5信息摘要算法加密，基于多种哈系函数生成多个哈希值映射到布隆过滤器完成URL的去重处理；

S2、预处理：根据文章长度和关键词密度对输入的数据进行筛选，对筛选出的APT报告进行实体关系标注；

S3、实体关系抽取：对预处理好的非结构化APT报告抽取符合预定类型的实体关系三元组。

2.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法，其特征在于，步骤S2中，根据文章长度和关键词密度对输入的数据进行筛选，剔除文本长度小于500词和关键词密度小于0.05的报告。

3.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法，其特征在于，步骤S2中，采用YEDDA对筛选出的APT报告进行实体关系标注，其中标注分为三个部分，即实体边界、关系范畴和实体角色；对于实体边界，使用“BIEOS”表示单词在实体中的位置信息：“B”表示单词在实体的开头；“I”表示单词位于实体的中间；“E”表示单词位于实体的尾部；“S”表示单词是单个实体；“O”表示该词不属于任何实体；基于CTI语料库，将所有实体角色分为七类，即ORG、LOC、SW、MAL、VUL、MEH和MF；实体关系分为六类：comes-from、uses、has-vulnerability、has-product、uses-file和related-to。

4.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法，其特征在于，步骤S3实体关系抽取的具体流程为：

S301、首先对非结构化事件情报文本进行预处理；

S302、将通过查询字向量表将文本中的每个字转换为一维向量，输入BERT预训练语言模型，模型输出是输入各字对应的融合全文语义信息后的向量表示；

S303、将文本的词向量输入Attention_BiLSTM_CRF训练模型，输出为全局最优的标注序列。

5.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法，其特征在于，步骤S302的BERT预训练语言模型中，激活函数为GeLU，维度为768维，隐藏层层数为10层。

6.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法，其特征在于，步骤S302通过矩阵映射的方式，将词向量由768维降至200维输入到Attention_BiLSTM_CRF训练模型的Bilstm层。

7.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法，其特征在于，Attention_BiLSTM_CRF训练模型分为Bilstm层、attention层以及CRF层。

8.根据权利要求7所述的基于深度学习的威胁情报信息抽取方法，其特征在于，BiLSTM层的流程为：将嵌入层得到的词向量序列作为BiLSTM的输入，对前向LSTM输出的隐状态序列与反向LSTM输出的隐状态序列进行拼接，得到完整的隐状态序列；然后将隐状态序列映射到k维，k是标注集的标签数，从而得到自动提取的特征。

9.根据权利要求7所述的基于深度学习的威胁情报信息抽取方法，其特征在于，Attention层的流程为：计算序列元素之间的相似程度e_ij，即输入序列中单词j对单词i的影响：注意力层权重矩阵α_ij表示本文中单词j相对于单词i的注意力权重，并准确地捕捉单词之间的影响；然后，利用加权系数计算序列h_i，得到序列矢量化表示S_t；最后，将S_t拼接BiSLTM层的编码输出并添加激活函数对进行非线性变换，得到影响后续标签分类的权重矩阵W_t作为CRF层的输入，从而实现模型训练时的关注焦点。

10.根据权利要求7所述的基于深度学习的威胁情报信息抽取方法，其特征在于，CRF层的流程为：将输入序列X＝(x₁，x₂，...，x_n)所对应的标签序列y＝(y₁，y₂，...，y_n)进行得分计算，标签序列的总得分如下所示：

其中，T是转移矩阵，表示标签之间的转移分数，T_i，j代表由标签i转移到标签j的概率，表示输入序列词x_i被分类到标签j的概率。