[发明专利]消除重复日志记录的过滤方法及装置

说明书

本发明实施例提供了一种消除重复日志记录的过滤方法及装置，该方法中，通信设备可以调取日志记录，并判断调取日志的类型，如果获知该日志为预设类型的日志则继续判断本地缓冲区中也是否存储有与之相匹配的日志。若有，则将缓冲区中存储的匹配日志的重复次数加1并抛弃该调取日志；若没有，则将其加入到缓冲区中，并将重复次数置为1。通过这样将日志进行类型的规划同时过滤重复日志的方式能够避免日志记录中的重复记录，在不影响根据日志分析设备问题的同时大幅度减少日志记录的数量，降低存储日志的开销，尤其适用于日志风暴的情形中。

技术领域

本发明实施例涉及通信技术领域，具体涉及一种消除重复日志记录的过滤方法及装置。

背景技术

很多通信主设备都是一种由多个单板组成的分布式系统，在整个系统中，有一块全局控制板，其他的单板被称为外围板。通常情况下，处于成本等各方面的需要，外围单板不会部署大容量的磁盘存储系统，而只有全局控制板上才会部署大容量的磁盘，用来保存设备的相关信息，这其中就包括系统的日志文件。在这种大型通信设备中，会记录程序异常或者有意义的运行日志，以便对设备进行日常的检查或者问题的分析定位。

然而，在实现发明创造的过程中，发明人发现，在通常的实践应用中发现，日志文件中经常记录了大量的重复信息，这些重复信息往往都是由于某个单点故障导致程序短时间内循环记录的异常信息。这些大量重复的信息对于设备问题的分析几乎没有任何意义，不但增加了设备板间的通信压力，并且也增加了磁盘空间压力以及写磁盘时所消耗的其他资源。

发明内容

本发明实施例的目的在于提供一种用于消除重复日志记录的过滤方法及装置。

第一方面，本发明实施例提供了一种消除重复日志记录的过滤方法，包括：

调取日志记录，并根据日志记录中日志类型字段判断调取的日志的类型；

若所述调取的日志为预设类型日志，则扫描本地缓冲区存储的预设类型日志中是否存在与所述调取的日志匹配的日志；

若存在，则将缓冲区中匹配的日志的重复次数字段加1，并丢弃所述调取的日志；若不存在，则将所述调取的日志加入到缓冲区中，并将所述调取的日志的重复次数字段置为1。

可选地，所述预设类型的日志为描述日志或动态日志；

所述描述日志为只包含描述信息、不包含可变参数信息的日志；在所述预设类型日志为描述日志时，所述匹配的日志为与所述调取的日志的描述信息字段相匹配的日志；

所述动态日志为即包含描述信息、又包含可变参数信息的日志；在所述预设类型的日志为动态日志时，所述匹配的日志为与所述调取的日志的描述信息字段以及参数信息字段均匹配的日志。

可选地，所述方法应用于分布式通信设备的外围单板中，所述分布式通信设备还包括全局控制板；

所述方法还包括：

在所述外围单板处，在所述缓冲区已满或定时写盘时间已到时，将缓冲区中缓存的日志记录发送至所述全局控制板。

可选地，所述方法还包括：在所述全局控制板处，执行如下步骤：

接收到外围单板发送的日志；

根据日志记录中日志类型字段判断接收的日志的类型；

若所述接收的日志为预设类型日志，则扫描本地缓冲区存储的预设类型日志中是否存在与所述调取的日志匹配的日志；

若存在，则将缓冲区中匹配的日志的重复次数与所述接收的日志携带的重复次数相加，并丢弃所述接收的日志；若不存在，则将所述接收的日志加入到缓冲区中，并将所述接收的日志的重复次数字段置为所述接收的日志携带的重复次数。

可选地，所述预设类型的日志为描述日志或动态日志；