[发明专利]一种日志数据的知识图谱构建方法

说明书

本发明公开了一种日志数据的知识图谱构建方法，包括：S1、获取指定时间窗口内的日志数据；S2、对所述日志数据进行预处理，并转换为结构化的日志数据；以及依据模板树建立策略建立模板树；S3、基于建立的模板树，获取日志模板；S4、基于结构化的日志数据和日志模板，进行实体抽取和关系抽取，获得用于输出的多个三元组数据，所述三元组数据为实体－关系－实体形式的数据；S5、对多个三元组数据按照时间序列进行融合，获得日志数据的知识图谱。本发明的方法能够将非结构化文本数据转化为结构化数据，构建运维日志知识图谱，围绕着知识图谱中的实体信息，从不同纬度为业务的实体信息提供不同功能的可视化服务。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种日志数据的知识图谱构建方法。

背景技术

随着互联网的普及，数据量的飞速增长使得信息越来越多，人们对信息查询的质量和精准度要求越来越高。日志系统对运维工作而言是一个非常重要的组成部分，它记录系统与操作者产生的所有行为，并且同时按照开发人员的某一种规范对其操作进行记录。

然而，现有技术中对于异常的运维数据，智能通过人工去查看，并不能自动查看，同时无法查看其关联的可能发生异常的运维数据，为此，如何建立一种知识图谱去实现表示运维数据的实体及运维数据的关系成为当前需要解决的技术问题。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种日志数据的知识图谱构建方法，能够更好地通过挖掘有用信息从而形成知识图谱，并进一步可实现结果可视化。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

根据本发明的一个方面，提供了一种日志数据的知识图谱构建方法，包括：

S1、获取指定时间窗口内的日志数据；

S2、对所述日志数据进行预处理，并依据模板树建立策略建立模板树；

S3、基于建立的模板树，获取日志模板；

S4、基于获取的日志数据和日志模板，进行实体抽取和关系抽取，获得用于输出的多个三元组数据，所述三元组数据为实体－关系－实体形式的数据；

S5、对多个三元组数据按照时间序列进行融合，获得日志数据的知识图谱。

可选地，所述S5包括：

将三元组数据存放在图数据库中，将与三元组数据对应的时间序列的信息存储在时序数据库中，用以在可视化显示时按照时间序列调用三元组数据，以获得日志数据的知识图谱；

所述图数据库为Neo4j型标准化数据库，所述时序数据库为OpenTSDB型标准化数据库；

或者，

将三元组数据中不同的实体类型及属性使用Cypher语句导入图数据库，使用OpenTSDB服务将实体关系及属性存储在时序数据库中；

所述图数据库为Neo4j型标准化数据库，所述时序数据库为OpenTSDB型标准化数据库。

可选地，所述方法还包括：

S6、接收平台输入的请求信息，依据请求信息中的可视化服务信息，向用户展示与可视化服务信息对应的实体关系；

或者，使用D3.js中的力导向图完成实体关系的可视化，或者，使用D3.js中的EventDrops进行实体时序的可视化。

可选地，所述S2包括：

S2-1、对每一条日志数据，将日志数据中正文内容对应的非结构化的数据转化为结构化的正文数据；