[发明专利]信息提取方法、装置、设备及存储介质

说明书

本发明实施例公开了一种信息提取方法、装置、设备及存储介质。该方法包括：获取待字段提取日志；确定与所述待字段提取日志匹配的目标日志格式；针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。上述技术方案，实现了将日志中的字段进行提取并转换为统一的预设格式，有利于将非结构化数据转化为结构化数据，便于查询统计，节省了计算空间和查询时间，而且无需人工针对每一种具体格式的日志进行解析规则编写，降低了人工成本。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种信息提取方法、装置、设备及存储介质。

背景技术

计算机信息化系统中的数据分为结构化数据和非结构化数据。其中，非结构化数据格式非常多样，标准也是多样性的，很难直接理解和利用。将非结构化数据转化为结构化数据之后，就可以存入搜索引擎、关系型的数据库、非关系型的数据库等系统去做进一步分析，或者存入数据库供商业智能软件分析，也可以实时流式导入到其他系统，或者批处理导入到其他系统等。

将非结构化数据转为结构化数据首先需要将日志中的信息进行分类提取。通常日志信息以字段为数据单位，非结构化数据格式多样，字段的种类及格式也多种多样。目前，字段提取方法往往是针对某一种具体格式的日志采用编写正则表达式、键值对切分、固定分隔符切分等方式进行字段提取处理，例如采用AWK提取命令，其命令语法为awk'{pattern+action}'{filenames}，其中，“pattern”表示AWK在数据中查找的内容，而“action”是在查找匹配内容时所执行的一系列命令，花括号“{}”不需要在程序中始终出现，它们用于根据特定的模式对一系列指令进行分组。然而，在日志数据处理过程中，字段提取规则的编写耗费了大量的人力，且随着日志格式的不断变化，字段提取规则不仅日渐复杂，还需不断进行更新维护。

发明内容

本发明实施例提供一种信息提取方法、装置、设备及存储介质，以对现有技术中的字段提取方法进行优化，减少人力成本。

第一方面，本发明实施例还提供了一种信息提取方法，包括：

获取待字段提取日志；

确定与所述待字段提取日志匹配的目标日志格式；

针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。

第二方面，本发明实施例提供了一种信息提取装置，包括：

日志获取模块，设置为获取待字段提取日志；

日志格式确定模块，设置为确定与所述待字段提取日志匹配的目标日志格式；

字段提取模块，设置为针对所述待字段提取日志，根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值；其中，所述字段提取模板是通过日志聚类训练确定的。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的信息提取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的信息提取方法。