[发明专利]一种大规模分布式网络安全数据采集方法与系统

权利要求书

1.一种大规模分布式网络安全数据采集方法，包括以下步骤：

步骤一，多方式数据采集；

步骤二，数据解析与标准化；

步骤三，数据分发传输；

其特征在于：

步骤一所述多方式数据采集采取以下4种方式：

方式一：主动模式；在数据生产地部署采集代理的方法采集指定数据；采集代理工作机制为：对指定目录下的文件进行监听，按照可配置的时间间隔，对该目录下发生更新的文件进行增量读取，同时对该文件的最新读取位置进行更新和维护，避免文件中数据的重复读取；针对以数据库形式存储的原始数据，通过ODBC/JDBC通用协议获取原始事件，无需在数据生产地部署采集代理；

方式二：被动模式；原始数据产生后，通过Syslog、Snmp、WebService方式发送给指定的数据接收者；对于数据采集系统，仅需要被动接收数据；

方式三：来自上一级采集系统发送的数据；

方式四：镜像模式；通过网络交换设备的镜像端口，接收来自网络中传输的任何网络访问流；

步骤二所述数据解析采用基于策略文档的方式对日志进行解析，实现对新增设备的支持；针对每一个具体的设备或系统，收集重点关注的日志类型的典型样例制定解析策略；当信息系统中有新增设备或原有设备的日志格式发生变更时，收集新增设备的日志格式或原设备变更的日志格式制定或修改解析策略；

步骤三所述数据分发传输还包括以下步骤：

（1）设置分发策略：提供数据复制和数据路由两种分发模式；

（2）建立数据缓存单元，分发各类数据：为每一类上层应用建立一个数据缓存单元，缓存标准化后的数据，防止数据生成过快而上层应用系统接收速率过慢导致数据丢失；

（3）数据传输：提供面向关系型数据库RDB、分布式存储系统HDFS/HBASE、内存数据库Redis、下级数据采集系统的目标传输数据的功能，满足不同业务应用系统需求。

2.根据权利要求1所述的一种大规模分布式网络安全数据采集方法，其特征在于，所述解析策略依据数据源的形式不同有所区别，主要有两种：一种是针对以文件形式存储或以数据流形式传输的原始日志，策略文档为一系列解析正值表达式构成的XML文档；另一种是针对以数据库形式存储的原始日志，策略文档为一系列SQL语句与解析正值表达式构成的XML文档。

3.根据权利要求1或2所述的一种大规模分布式网络安全数据采集方法，其特征在于，所述解析策略除了具有两个传统的解析功能外，又提供了以下三个方面的功能：

（1）对原有日志的特殊符号或字段依据字典表进行替换；允许将厂商自己专有的字典表放入到解析策略文件中，对特殊符号和字段进行对照解析；

（2）对原有日志依据预先设定值进行补充完善；解析策略文件允许通过源IP地址关联的方式，为原有日志添加附加信息；

（3）多标准数据重构；允许在解析策略文件中描述不同格式的数据标准，为不同的上层应用系统构建不同的标准化数据。

4.一种大规模分布式网络安全数据采集系统，其特征在于包括：采集代理模块，数据采集模块，数据解析模块，数据分发传输模块；其中，

采集代理模块，部署在数据生产地，采集并传输指定数据；

数据采集模块，用于从网络中分散的各类数据源采集原始数据，并转发给数据解析模块；

数据解析模块，从数据采集模块获取到原始数据后，按照预先配置的解析策略对原始数据进行解析和标准化，并结合分发策略，将标准化的数据分发给分发传输模块；

数据分发传输模块，依据分发策略对标准化数据进行分组缓存，并依据转发策略向多个不同的传输目标进行数据传输。

5.根据权利要求4所述的一种大规模分布式网络安全数据采集系统，其特征在于，所述数据采集系统在多级复杂网络环境下采用级联部署、多路分发的体系架构。