[发明专利]日志处理方法和装置

说明书

本公开公开了一种日志处理方法和装置，涉及数据处理领域。该方法包括：利用停用词库对样本日志文件进行分词处理，得到样本日志文件中的多个词语；对多个词语进行词频统计，将词频数大于词频阈值的词语作为高频词；将样本日志文件中连续出现的预定个数的高频词，作为高频词组；计算每个高频词组与标点组合的加权概率；根据加权概率大于概率阈值的高频词组与标点组合，构建日志模版；根据日志模版，提取日志数据中的关键信息。本公开提高了日志处理的准确性。

技术领域

本公开涉及数据处理领域，尤其涉及一种日志处理方法和装置。

背景技术

日志分析平台中，需要对各种系统的不同日志进行收集、存储和分析。其中，日志包括系统日志、webserver(网页服务器)日志、错误日志、应用日志等。其中对日志的分析处理，主要通过文本处理的形式进行过滤、标签、统计等操作。目前的方法为：对每条日志进行分词、词向量化等文本处理后，进行模型训练和分析。

目前方法中存在一些缺陷，例如，对日志中的文本进行全量分析，耗费大量资源。另外，模型学习和分析过程中，会受到日志中和分析需求相关性低的信息的干扰，影响模型学习和分析的准确性。

发明内容

本公开要解决的一个技术问题是，提供一种日志处理方法和装置，能够提高日志分析的准确率。

根据本公开一方面，提出一种日志处理方法，包括：利用停用词库对样本日志文件进行分词处理，得到样本日志文件中的多个词语；对多个词语进行词频统计，将词频数大于词频阈值的词语作为高频词；将样本日志文件中连续出现的预定个数的高频词，作为高频词组；计算每个高频词组与标点组合的加权概率；根据加权概率大于概率阈值的高频词组与标点组合，构建日志模版；根据日志模版，提取日志数据中的关键信息。

在一些实施例中，验证每个高频词组中词语间的关联性；计算具有关联性的词组构成的高频词组与标点组合的加权概率。

在一些实施例中，计算具有关联性的词组构成的高频词组与标点组合的加权概率包括：统计具有关联性的词组构成的高频词组的前后出现标点的概率；确定对应标点的权值；将出现标点的概率与对应标点的权值之积，作为具有关联性的词组构成的高频词组与标点组合的加权概率。

在一些实施例中，验证每个高频词组中词语间的关联性包括：将每个高频词组中的词语进行卡方验证，确定每个高频词组中词语间的关联性。

在一些实施例中，将连续出现的预定个数的高频词，作为高频词组包括：将预定个数的高频词作为组合，统计在样本日志文件中，组合出现的频率；将出现频率大于频率阈值的组合，作为高频词组。

在一些实施例中，停用词库中不包含标点符合和空格。

根据本公开的另一方面，还提出一种日志处理装置，包括：分词处理单元，被配置为利用停用词库对样本日志文件进行分词处理，得到样本日志文件中的多个词语；高频词确定单元，被配置为对多个词语进行词频统计，将词频数大于词频阈值的词语作为高频词；高频词组确定单元，被配置为将样本日志文件中连续出现的预定个数的高频词，作为高频词组；加权概率确定单元，被配置为计算每个高频词组与标点组合的加权概率；日志模版构建单元，被配置为根据加权概率大于概率阈值的高频词组与标点组合，构建日志模版；关键信息提取单元，被配置为根据日志模版，提取日志数据中的关键信息。

在一些实施例中，关联性验证单元，被配置为验证每个高频词组中词语间的关联性；其中，加权概率确定单元被配置为计算具有关联性的词组构成的高频词组与标点组合的加权概率。

根据本公开的另一方面，还提出一种日志处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的日志处理方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的日志处理方法。