[发明专利]一种情报数据融合方法与装置

权利要求书

1.一种情报数据融合方法，其特征在于，包括：

S1对原始网络情报数据进行预处理，获得符合情报库数据模型的结构化数据；

S2采集大量所述结构化数据并对其中每一条数据进行融合方式的标注，形成训练数据；使用训练数据对决策树模型进行机器学习训练，获得Smart规则决策树模型；所述使用训练数据对决策树模型进行机器学习训练具体为使用决策树ID3分类算法进行训练；所述训练具体为对所述结构化数据的实体类型、实体属性进行训练，约束为标注的所述结构化数据的融合方式；通过所述Smart规则包括实体融合规则和实体属性融合规则，所述实体融合规则包括实体的数据覆盖写入、数据新增写入、重复数据丢弃融合规则；所述实体属性融合规则包括实体属性的数据覆盖写入、数据新增写入、重复数据丢弃、数据追加写入、部分替换写入；

S3将所述结构化数据输入Smart规则决策树模型，获取所述结构化数据与所述情报库数据模型的Smart规则；

S4根据所述Smart规则将所述结构化数据写入所述情报库。

2.根据权利要求1所述的一种情报数据融合方法，其特征在于，所述预处理包括：

S101实体提取：对所述原始网络情报数据中的情报实体进行识别，及提取和保存实体字段；

S102实体分类：对所述情报实体进行分类，根据所述情报库数据模型的约束将所述实体字段映射到所述情报库数据模型上；

S103属性识别：识别所述情报实体的实体属性；

S104属性提取：将所述实体属性与所述情报库数据模型进行匹配，对匹配吻合的所述实体属性进行属性值的提取和处理，形成格式化的实体属性数据。

3.根据权利要求2所述的一种情报数据融合方法，其特征在于，所述训练数据具体为：

定义m类所述情报实体，定义n类所述情报实体的实体属性；

对每一条所述原始网络情报数据进行预处理，形成所述结构化数据为m+n维数据向量；

所述融合方式的标注分为对所述情报实体融合方式的标注以及对所述实体属性融合方式的标注；

所述情报实体融合方式为数据覆盖写入、数据新增写入和重复数据丢弃；

所述实体属性融合方式为数据覆盖写入、数据新增写入、重复数据丢弃、数据追加写入和部分替换写入。

4.根据权利要求3所述的一种情报数据融合方法，其特征在于，所述使用决策树ID3分类算法进行训练具体为：

步骤一：对所述训练数据计算获取当前信息熵，计算各所述n个实体属性下的分支信息熵，根据所述分支信息熵计算条件熵，进而分别计算n个属性的信息增益，从中选择所述信息增益最大的属性作为决策点并加入决策树；

步骤二：将所述信息增益最大的属性列数据从所述训练数据中移除，对当前训练数据重复步骤一，直至全部实体属性均加入决策树。

5.一种情报数据融合装置，其特征在于，包括：

预处理模块：被配置为对原始网络情报数据进行预处理，获得符合情报库数据模型的结构化数据；

模型训练模块：被配置为采集大量所述结构化数据并对其中每一条数据进行融合方式的标注，形成训练数据；使用训练数据对决策树模型进行机器学习训练，获得Smart规则决策树模型；所述使用训练数据对决策树模型进行机器学习训练具体为使用决策树ID3分类算法进行训练；所述训练具体为对所述结构化数据的实体类型、实体属性进行训练，约束为标注的所述结构化数据的融合方式；通过所述Smart规则包括实体融合规则和实体属性融合规则，所述实体融合规则包括实体的数据覆盖写入、数据新增写入、重复数据丢弃融合规则；所述实体属性融合规则包括实体属性的数据覆盖写入、数据新增写入、重复数据丢弃、数据追加写入、部分替换写入；

生成融合规则模块：被配置为将所述结构化数据输入Smart规则决策树模型，获取所述结构化数据与所述情报库数据模型的Smart规则；

数据写入模块：被配置为根据所述Smart规则将所述结构化数据写入所述情报库。