[发明专利]日志聚合的方法和装置

说明书

技术领域

本发明涉及通信领域，尤其涉及一种日志聚合的方法和装置。

背景技术

随着通信技术和计算机技术的迅速发展，各种形式的信息交互越来越频繁，例如通过计算机网络的数据报文或多媒体信息交互、通过移动通信网络的短信或话音交互等等。在信息交互的过程中由于各种各样的需求，需要对所交互的信息的相关特征进行记录，例如网络安全设备为了便于对网络安全进行监管，需要在每次检测到入侵报文时，将入侵报文的攻击特征等信息记录在相应的文件中，以根据记录的入侵报文的攻击特征等信息分析网络设备的安全情况，采取相应的措施保证网络设备的安全使用；通信网络运营商为了统计用户终端对通信网络的使用情况，需要将用户通话或发送短信的号码、以及通话时间等特征记录在话单中，进一步根据话单中记录的用户通话特征确定用户应当支付的费用等；上述网络安全设备用于记录攻击特征的文件、或者通信网络运营商用于记录用户通话或短信使用情况的话单、以及其它用于记录各种形式的交互信息的特征的载体均可称为“日志”。

在很多情况下，由于信息交互频繁，例如频繁的攻击或者频繁的通话等，在通信设备上会产生大量的日志，对这些日志进行处理会影响通信设备的其它功能，尤其当大量重复日志需要处理时，可能会导致通信设备的网络拥塞。因此，为了方便通信设备对日志的管理，需要对所产生的大量重复日志进行聚合，即将多条具有相同特征的日志合成为一条日志，以减少日志的数量，进而降低通信设备进行日志处理的工作量，提高通信设备对日志统计分析的效率。例如，现有技术 中对通信设备检测到的攻击报文进行聚合时，攻击报文的相同特征可以为下述五个方面的参数中的一种或多种：攻击报文的源IP地址、目的IP地址、源端口、目的端口以及攻击方向，通信设备检测到攻击报文时，根据该攻击报文上述五个方面的参数的取值将攻击报文记录到攻击日志中，具体的，通信设备将上述五个方面的参数的取值相同的日志作为同一类日志进行聚合，并存储聚合后的一条日志。

现有技术中，进行日志聚合处理的主要实体结构如图1所示，包括Array(存储阵列)、freelink链表、datalink链表、hashmap以及hashlink链表。其中，Array为一系列日志聚合空间，不同的日志聚合空间分别对应不同的日志聚合空间指针，每一日志聚合空间中存储具有相同日志标识的一类日志。Array中存储的日志为待聚合的日志对象、或者聚合后的日志对象。当有新的日志对象需要向Array中的某一日志聚合空间内存储时，日志聚合实体将Array中的该日志聚合空间内的日志对象提出，与新的日志进行聚合，将聚合后的日志对象替代该日志聚合空间内原来存储的日志对象。Array的长度spacelength等于Array中日志聚合空间的个数，等于与Array相应的日志聚合空间指针的个数。

freelink链表和datalink链表分别由一系列链表节点组成，freelink链表的链表节点中存储有系统目前可用的日志聚合空间指针，datalink链表的链表节点中存储有系统目前已用的日志聚合空间指针，每一日志聚合空间指针指向Array中一个日志聚合空间；freelink链表和datalink链表中存储的日志聚合空间指针的个数和等于Array中日志聚合空间的个数。

hashmap与hashlink链表内存储有日志标识与日志聚合空间的对应关系，用来快速定位具有相同日志标识的日志。其中，日志标识即为多条日志具有的相同特征，例如，信息的来源IP地址、目的IP地址、来源端口、目的端口等。hashmap中存储日志的来源IP地址(Key，日志标识)与hashlink链表头节点的指针(value)的对应关系。hashlink链表的数量为多个，每个hashlink链表与一个来源IP地址对应，且每 个hashlink链表由一系列节点组成，各节点(包括头节点)中存储日志的目的IP地址与日志聚合空间指针的对应关系。具体的，通信设备根据日志的来源IP地址在hashmap中查找相应的hashlink链表头节点的指针，进一步在hashlink链表中从hashlink链表的头节点开始依次查找各节点，获取与日志的目的IP地址相应的日志聚合空间指针，根据该日志聚合空间指针获取相应的Array中的日志聚合空间的待聚合日志对象，并与新的日志进行聚合，将聚合后的日志对象存储到原来Array中的日志聚合空间。

利用图1所示的日志聚合实体结构进行日志聚合的流程如下所示，包括以下步骤：

1、获取new日志，提取该日志中的日志标识，包括日志的来源IP地址和目的IP地址；