[发明专利]一种基于大数据的数据采集平台的实现方法及系统

权利要求书

1.一种基于大数据的数据采集平台的实现方法，其特征在于，包括协议代理、应用代理、实时消息交换中心和数据库，通过数据采集平台的各种不同协议代理、实时消息交换中心和应用代理模块之间的松耦合和即插即用，实现了对安全设备、网络设备、数据库和中间件的漏洞、配置、安全事件、网络故障信息的实时采集、预处理和存储，提升了安全运维服务平台的实时性能和可扩展性；

所述方法，还包括如下步骤：

（1）接收信息；

（2）转发给相应的应用代理进行预处理；

（3）输出消息到基于大数据的数据库存储；

所述协议代理，负责及时接收各种被管设备的消息，并将它发送到数据采集平台的实时消息交换中心；

所述应用代理，负责实时地处理所述实时消息交换中心发送过来的消息，包括：告警/事件过滤、告警/事件归并压制和告警/事件的标准化；

所述实时消息交换中心，负责接收各个协议代理发送过来的消息，并按照其优先级，及时地发送到相应的应用代理中，这两个代理通过实时消息交换中心实现互联；

所述数据库，负责及时地存储所采集的告警/事件的信息；

所述协议代理发送过来的消息，包括安全日志、漏洞、配置、故障告警；

所述告警/事件的信息，包括非结构数据方式HDFS/HDB和结构数据方式。

2.如权利要求1所述的一种基于大数据的数据采集平台的实现方法，所述告警/事件过滤，包括：

（1）多条件组合过滤；

（2）过滤优先权；

（3）过滤后的安全事件多种处理操作。

3.如权利要求1所述的一种基于大数据的数据采集平台的实现方法，所述告警/事件归并压制，包括：

（1）根据事件名称进行归并分析；

（2）根据事件的类型进行归并分析；

（3）根据源进程进行归并分析；

（4）根据目标进程进行归并分析；

（5）根据攻击源进行归并分析；

（6）根据攻击目标地址进行归并分析；

（7）根据事件的原始时间进行归并；

（8）根据事件的进入平台事件进行归并；

（9）根据受攻击的设备类型进行归并分析；

（10）根据受攻击的系统类型及版本信息进行归并分析；

（11）根据特定时间要求和用户策略进行横向事后关联分析。

4.如权利要求1所述的一种基于大数据的数据采集平台的实现方法，所述告警/事件的标准化，包括安全事件属性如下：

（1）事件编号：每个时间具有唯一的一个事件编号；

（2）事件名称：对事件内容的简单概要描述；

（3）事件严重级别：安全事件的严重程度表示；

（4）事件时间：事件发生时间；

（5）事件内容：事件的相关安全信息；

（6）事件原始级别：事件未作调整前的级别；

（7）事件相关协议：产生事件的相关协议；

（8）源地址：事件中包含的源地址；

（9）目的地址：事件中包含的目的地址；

（10）源主机名称；

（11）目的主机名称；

（12）源端口：事件中包含的源端口；

（13）目的端口：事件中包含的目的端口；

（14）事件类型：事件的类型，比如原始事件、关联事件、归并事件。