[发明专利]一种日志数据分类排序方法及装置

说明书

本发明涉及一种日志数据分类排序方法，包括以下步骤：基于指定关键字查询日志数据库，对所述日志数据库中日志数据进行分组去重，得到日志数据集合；自定义分类类型，设置所述分类类型的类型属性，以及与所述分类类型相关联的关键字；基于所述分类类型对所述日志数据集合进行分类排序，得到结果集。本发明能够实现日志数据的自定义分类排序，分类排序过程不依赖于人工，效率高，不易出错。

技术领域

本发明涉及日志数据管理技术领域，尤其涉及一种日志数据分类排序方法、装置及计算机存储介质。

背景技术

网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录，即日志记录，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。较复杂的网络环境中网络设备(防火墙，服务器，路由器，网关，交换机，中继器，网桥等设备)在运作过程中产生的日志数据都是海量的，杂乱无章的，即便解析入库后也是如此，需要重新梳理分类排序。分类是指按照种类、等级或性质分别归类；排序则是指将杂乱无章的数据元素，通过一定的排序方式按关键字顺序排列的过程。

日志的分类排序通常在日志解析后进行，也可以在解析过程中通过提取指定关键字来限制日志的分类和维度，使日志达到人为分类的目的。这两种方式都是人为的进行配置或者人为的进行类别分类来确定需要解析的目标日志，人为指定需要分析日志的过程容错率较低，如果指定分析的目标日志与实际需要分析的日志不一致，就会导致后期所有的业务与目标产生分歧。并且人工操作的过程繁琐麻烦，低效率，容易出错。

快速解析各种厂商不同类型的网络设备在运作过程产生的日志数据并且入库存储，在此基础上进行方便快捷的自定义分类、综合排序操作，使得日志具有明确的属性(分类名称，分类类型，危险级别，序号等)，日志数据本身所对应业务的边界更准确清晰，是需要解决的问题。

发明内容

有鉴于此，有必要提供一种日志数据分类排序方法及装置，用以解决目前日志数据分类排序依赖于人为分类、效率低、容易出错的问题。

本发明提供一种日志数据分类排序方法，包括以下步骤：

基于指定关键字查询日志数据库，对所述日志数据库中日志数据进行分组去重，得到日志数据集合；

自定义分类类型，设置所述分类类型的类型属性，以及与所述分类类型相关联的关键字；

基于所述分类类型对所述日志数据集合进行分类排序，得到结果集。

进一步的，基于指定关键字查询日志数据库，对所述日志数据库中日志数据进行分组去重，得到日志数据集合，具体为：

设置不同的数据统计时长以及相应的统计时刻；

在各统计时刻查询所述日志数据库中原始日志数据表，提取所述原始日志数据表中相应统计时长内的日志数据，并基于指定关键字对所述日志数据进行分组去重，得到相应时间段的日志数据表；结合各时间段的日志数据表得到所述日志数据集合。

进一步的，所述指定关键字为日志关键字或目的ip。

进一步的，基于指定关键字对所述日志数据进行分组去重，得到相应时间段的日志数据表，具体为：

将指定关键字的值相同的日志数据划分为一组；

对同一组中相同的日志数据进行去重，得到相应时间段的日志数据表。

进一步的，设置所述分类类型的类型属性，具体为：

设置所述分类类型的名称、安全级别、序号。

进一步的，基于所述分类类型对所述日志数据集合进行分类排序，得到结果集，具体为：

根据所述分类类型相关联的关键字对所述日志数据集合进行筛选，得到与所述分类类型相关联的日志数据；