[发明专利]一种云平台错误日志分类的方法、装置、设备及可读介质

说明书

本发明提供了一种云平台错误日志分类的方法、装置、设备及可读介质，该方法包括：收集云平台中的错误日志，并对每个错误日志进行预处理；计算预处理后的每个错误日志中的每个词的词频统计值；基于计算得到的词频统计值训练聚类模型；将待分类的错误日志进行预处理后计算预处理后的每个错误日志中的词频统计值；将计算得到的词频统计值输入到训练后的聚类模型中以得到错误日志分类结果。通过使用本发明的方案，能够实时对错误日志进行分类，能够向运维人员提供更明确的故障特征。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种云平台错误日志分类的方法、装置、设备及可读介质。

背景技术

日志对于一个稳定的系统来说相当重要，特别是大型云平台，日志必不可少。随着OpenStack越来越成熟及其业务的不断扩大，平台规模也从最初的几台、十几台上升到几百台甚至上千台，同时云平台的模块、平台服务等越来越多，导致日志种类越来越多。因此，随着客户系统和业务规模的快速提升，对如何高效、快速及灵活的实现对系统和业务日志特别是错误日志进行管理、检索和分析的需求越来越迫切。

当系统发生故障或出现性能瓶颈时，需要通过分析各种日志来定位故障原因，找出导致系统性能瓶颈。日志数据量庞大，错误分散，靠人工很难发现，对于错误日志的发现，多使用正则表达式，但如果用正则匹配，需要预先知道错误日志类型，定义严格的规则，保证错误日志都能匹配。当故障发生时，错误日志经常会大量发生，出现洪水告警，这就要求日志系统需对日志进行分类，而且要发现未知错误。正则匹配无法发现未知类型的错误日志。

发明内容

有鉴于此，本发明的目的在于提出一种云平台错误日志分类的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够实时对错误日志进行分类，能够向运维人员提供更明确的故障特征。

基于上述目的，本发明的一个方面提供了一种云平台错误日志分类的方法，包括以下步骤：

收集云平台中的错误日志，并对每个错误日志进行预处理；

计算预处理后的每个错误日志中的每个词的词频统计值，通过对错误日志中每个次计算后得到词的词频统计值；

基于计算得到的词频统计值对每个错误日志进行向量化，并选出词频统计值前n的值作为错误日志特征；

基于计算得到的错误日志特征训练聚类模型。

将待分类的错误日志进行预处理后计算预处理后的每个错误日志中的词频统计值；

将计算得到的词频统计值输入到训练后的聚类模型中以得到错误日志分类结果。

根据本发明的一个实施例，计算预处理后的每个错误日志中的每个词的词频统计值包括：

使用公式：词频统计值＝词频×逆文档频率计算每个词的词频统计值。

根据本发明的一个实施例，还包括：

使用公式：tf(term,log)＝count(term|d)/count(log)计算每个词的词频，其中，tf(term,log)为单词term的词频，count(log)为日志log中的单词总数，count(term|log)为单词term出现在日志log中的次数。

根据本发明的一个实施例，还包括：

使用公式：idf(term,L)＝log(n/n_t)计算每个词的逆文档频率，其中，idf(term,L)为单词term的逆文档频率，n为日志log所在的错误日志的集合L中的日志数，n_t为集合L中出现过单词term的日志数。

根据本发明的一个实施例，收集云平台中的错误日志，并对每个错误日志进行预处理包括：