[发明专利]日志处理方法和装置

权利要求书

1.一种日志处理方法，包括：

利用停用词库对样本日志文件进行分词处理，得到所述样本日志文件中的多个词语；

对所述多个词语进行词频统计，将词频数大于词频阈值的词语作为高频词；

将所述样本日志文件中连续出现的预定个数的高频词，作为高频词组；

计算每个所述高频词组与标点组合的加权概率；

根据加权概率大于概率阈值的高频词组与标点组合，构建日志模版；

根据所述日志模版，提取日志数据中的关键信息。

2.根据权利要求1所述的日志处理方法，还包括：

验证每个所述高频词组中词语间的关联性；

计算具有关联性的词组构成的高频词组与标点组合的加权概率。

3.根据权利要求2所述的日志处理方法，其中，计算具有关联性的词组构成的高频词组与标点组合的加权概率包括：

统计所述具有关联性的词组构成的高频词组的前后出现标点的概率；

确定对应标点的权值；

将所述出现标点的概率与对应标点的权值之积，作为所述具有关联性的词组构成的高频词组与标点组合的加权概率。

4.根据权利要求2所述的日志处理方法，其中，验证每个所述高频词组中词语间的关联性包括：

将每个所述高频词组中的词语进行卡方验证，确定每个所述高频词组中词语间的关联性。

5.根据权利要求1所述的日志处理方法，其中，将连续出现的预定个数的高频词，作为高频词组包括：

将预定个数的高频词作为组合，统计在所述样本日志文件中，所述组合出现的频率；

将出现频率大于频率阈值的组合，作为高频词组。

6.根据权利要求1-5任一所述的日志处理方法，其中，所述停用词库中不包含标点符合和空格。

7.一种日志处理装置，包括：

分词处理单元，被配置为利用停用词库对样本日志文件进行分词处理，得到所述样本日志文件中的多个词语；

高频词确定单元，被配置为对所述多个词语进行词频统计，将词频数大于词频阈值的词语作为高频词；

高频词组确定单元，被配置为将所述样本日志文件中连续出现的预定个数的高频词，作为高频词组；

加权概率确定单元，被配置为计算每个所述高频词组与标点组合的加权概率；

日志模版构建单元，被配置为根据加权概率大于概率阈值的高频词组与标点组合，构建日志模版；

关键信息提取单元，被配置为根据所述日志模版，提取日志数据中的关键信息。

8.根据权利要求7所述的日志处理装置，还包括：

关联性验证单元，被配置为验证每个所述高频词组中词语间的关联性；

其中，所述加权概率确定单元被配置为计算具有关联性的词组构成的高频词组与标点组合的加权概率。

9.一种日志处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至6任一项所述的日志处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至6任一项所述的日志处理方法。