[发明专利]基于配置的数据归并方法

说明书

技术领域

本发明涉及电子信息技术领域，尤其是一种基于配置的数据归并方法。 

背景技术

安全信息管理技术用于搜集、分析和关联来自于整个企业的安全事件信息，安全信息管理技术具体是指搜集和分析安全事件信息，及时地检测到安全事件，并采取相应的网络安全管理措施。安全信息管理系统需要收集各类安全设备、网络设备、主机以及应用系统的日志和告警数据等多种类型的数据，各种数据的类型不尽相同。目前，数据归并主要采用的方法是将多种数据类型采用硬编码的方式预先定义在程序中，由程序对各种类型的数据分别进行归并。 

采用上述方式的主要缺点在于，数据类型定义好之后便很难再进行修改，此外，由于网络产品的日益增多，系统需要处理的数据类型也在不断的增加，现有的数据类型也会不断的更新，采用硬编码的方式预先定义数据类型，不利于系统的扩展，大大降低了系统的可维护性。 

发明内容

本发明的目的是：提供一种基于配置的数据归并方法，它解决硬编码方式无法进行数据类型修改与扩展的问题，实现一种对各种类型的数据进行归并的通用方法，以克服现有技术的不足。 

本发明是这样实现的：基于配置的数据归并方法，按照数据的类型将数据的结构信息、归并规则存储在对应的配置文件中；接收到数据后，根据所接收的数据的类型读取出对应的配置文件，根据所读取的配置文件中的结构信息和归并规则滤除或保留该数据；若保留该数据，则根据所读取的配置文件中的结构信息和归并规则将该数据与相应数据进行合并。 

优选的方案是，数据的结构信息包括数据的各字段的偏移量，过滤规则下包含过滤规则策略，过滤规则策略下包含数据中每个字段的字段过滤策略；根据过滤规则下的字段过滤策略查找过滤字段以及过滤条件；从数据结构信息中查找过滤字段的偏移量，根据接收的数据在内存中存储的首地址以及过滤字段的偏移量，在内存中查找到该过滤字段的字段值。 

进一步地，根据所读取的配置文件中的结构信息和合并规则将该数据与相应数据进行合并的过程包括： 

从数据结构信息中查找接收的数据的每个字段的偏移量，根据该接收的数据在内存中存储的首地址以及每个字段的偏移量，在内存中查找到每个字段的字段值；

判断合并队列中是否存在与接收的数据合并规则策略相同的数据，如果存在，则将接收的数据的每个字段的字段值，按照每个字段的字段合并策略中的合并方式属性，合并入合并队列中合并规则策略相同的数据中；否则，将该接收的数据加入合并队列中。

进一步地，字段过滤策略包含使能属性，该使能属性标识过滤字段，字段过滤策略还包含过滤判断操作、操作数1和操作数2属性，该过滤判断操作、操作数1和操作数2属性表示过滤条件。 

进一步地，在进行合并的过程中，从数据结构信息中查找接收的数据的每个字段的偏移量前，还包括： 

根据合并规则的字段合并策略的使能属性查找合并过滤字段以及获取字段合并策略的过滤判断操作、操作数1和操作数2属性作为合并过滤条件；

从数据结构信息中查找合并过滤字段的偏移量，根据接收的数据在内存中存储的首地址以及合并过滤字段的偏移量，在内存中查找到该合并过滤字段的字段值；

判断合并过滤字段的字段值是否满足合并过滤条件，并根据合并规则策略的合并过滤模式属性选择滤除或保留所接收的数据，如果保留所接收的数据，则进一步执行从数据结构信息中查找接收的数据的每个字段的偏移量。

进一步地，将数据加入合并队列中后，记录数据加入合并队列的时长以及数据队列中的数据个数； 

当合并队列中的某个数据加入合并队列的时长等于合并规则中的合并时间间隔时，将该数据存入发送队列；

当合并队列中的数据个数满足合并规则的合并队列的限制长度后，将合并队列中的数据存入发送队列。

进一步地，一种数据过滤的方法，包括： 

按照数据的类型将数据的结构信息和过滤规则存储在对应的配置文件中；

接收到数据后，接收到数据后，根据所接收的数据的类型读取出对应的配置文件，根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据。

进一步地，数据的结构信息包括：数据的各字段的偏移量； 

过滤规则下包含过滤规则策略，过滤规则策略下包含数据中每个字段的字段过滤策略；

根据所读取的配置文件中的结构信息和过滤规则滤除或保留该数据的过程包括：

根据过滤规则的字段过滤策略查找过滤字段以及过滤条件；