[发明专利]一种日志数据的知识图谱构建方法

权利要求书

1.一种日志数据的知识图谱构建方法，其特征在于，包括：

S1、获取指定时间窗口内的日志数据；

S2、对所述日志数据进行预处理，并依据模板树建立策略建立模板树；

S3、基于建立的模板树，获取日志模板；

S4、基于获取的日志数据和日志模板，进行实体抽取和关系抽取，获得用于输出的多个三元组数据，所述三元组数据为实体－关系－实体形式的数据；

具体地，S4-2-1：从待抽取关系的日志模板中，获得抽取的实体对e1，e2；

S4-2-2：使用TF-IDF算法计算出特征词的权重w，记为v＝{(word₁,w₁)(word₂,w₂)……}，获得的实体对将日志数据中的非结构化部分切分为三部分：e1之前的文本特征向量，e1与e2之间的文本特征向量，e2之后的文本特征向量，记为V_i＝(v1,v2,v3)；

S4-2-3：使用余弦相似度计算两组向量之间的相似度，作为密度聚集类的输入，计算公式为：

其中，n指的是日志的word数，k是从1到n依次；

V_j指的是不同于V_i的另一条日志特征向量；

W_ik指的是第i条日志中第k个单词的权重；

V_in指的是V_i切分后的每个特征向量(v1,v2,v3)；

公式(1)为计算两个向量之间的距离，公式(2)对3组余弦相似度的距离求和，计算两个向量之间的相似度；

S4-2-4：将相似度作为聚类的输入，对所有预处理后的日志进行密度聚类，每个聚类簇中按特征词的TF-IDF值降序排列，选择关系词；

S5、对多个三元组数据按照时间序列进行融合，获得日志数据的知识图谱。

2.根据权利要求1所述的方法，其特征在于，所述S5包括：

将三元组数据存放在图数据库中，将与三元组数据对应的时间序列的信息存储在时序数据库中，用以在可视化显示时按照时间序列调用三元组数据，以获得日志数据的知识图谱；

所述图数据库为Neo4j型标准化数据库，所述时序数据库为OpenTSDB型标准化数据库；

或者，

将三元组数据中不同的实体类型及属性使用Cypher语句导入图数据库，使用OpenTSDB服务将实体关系及属性存储在时序数据库中；

所述图数据库为Neo4j型标准化数据库，所述时序数据库为OpenTSDB型标准化数据库。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

S6、接收平台输入的请求信息，依据请求信息中的可视化服务信息，向用户展示与可视化服务信息对应的实体关系；

或者，使用D3.js中的力导向图完成实体关系的可视化，或者，使用D3.js中的EventDrops进行实体时序的可视化。

4.根据权利要求1所述的方法，其特征在于，所述S2包括：

S2-1、对每一条日志数据，将日志数据中正文内容对应的非结构化的数据转化为结构化的正文数据；

S2-2、针对所有结构化的正文数据，采用分隔符进行分词处理；

S2-3、针对分词处理的所有正文数据，采用模板树建立策略，建立模板树；

其中，模板树建立策略包括：针对第一条正文数据，查看分词后每一词汇的顺序，按照模板树的根部到枝叶的顺序，进行划分父节点和子节点，针对第n条正文数据，查看分词后每一词汇与模板树中相应位置的词汇是否相同，若不同，则成为上一相同词汇的子节点。

5.根据权利要求4所述的方法，其特征在于，所述S3包括：

S3-1、针对所述模板树，判断每一个父节点和子节点的数据格式，采用指定数据格式所属的标识符替换节点的数据，并获取新的模板树；

S3-2、针对新的模板树，采用剪枝策略对子节点进行剪枝处理，获取精简模板树；

S3-3、将精简模板树中每一根节点到叶子节点作为一个日志模板，并遍历所述精简模板树，获取所有的日志模板，且每一日志模板具有唯一的标识。