[发明专利]一种基于OpenIOC的大数据快速威胁检测系统

说明书

本发明公开了涉及计算机信息处理技术领域，具体为一种基于Open IOC的大数据快速威胁检测系统，利用beats采集IT环境全栈事件数据，并使用Elastic Search实现高达PB级数据的存储与检索，基于Open IOC检索转换接口，将威胁库中的Open IOC策略对全栈事件数据实现准实时的检测，本检测系统包括事件数据采集模块、传输与归一化模块、Open IOC威胁库、Open IOC大数据检索模块、web模块。本系统在利用机器学习算法结合数据类别与数据量大小对分支条件检索的速度进行预测，智能调节决策树的检索顺序，大幅提高大数据环境下Open IOC策略的检测速度，为及时发现IT系统威胁及处置提供了有力的支撑。

技术领域

本发明涉及计算机信息处理技术领域，具体为一种基于Open IOC 的大数据快速威胁检测系统。

背景技术

现阶段信息系统的规模、复杂性日益增加，这些复杂的系统、应用及其安全防御设施在运行过程中不断产生大量的信息。这些信息记录了IT环境系统每天发生的各类事件，我们可以通过对这些大量的细碎的信息进行监控、分析它来检查故障发生的原因，监控用户的使用行为，发现异常情况或者受到攻击时攻击者留下的痕迹。随着对威胁情报研究的深入，结合用户的越来越复杂的IT环境，以Open IOC 为代表的威胁指标对于复杂威胁事件描述指标项集大幅扩展，同时需要检测的数据量发生了数量级增长，传统的基于主机的Open IOC的检测机制已不适应当前IT环境对安全威胁检测的要求。

Open IOC(Open Indicator of Compromise，开放威胁指标)是 MANDIANT公司(后被fireeye收购)发布的情报共享规范。Open IOC 是一个记录、定义以及共享威胁情报的格式，它通过借助机器可读的形式实现不同类型威胁情报的快速共享。IOC(Indicator ofCompromise)是MANDIANT在长期的数字取证实践中定义的可以反映主机或网络行为的技术指示器，IOC以XML文档类型描述捕获多种威胁的事件响应信息，包括病毒文件的属性、注册表改变的特征、虚拟内存等，是一种入侵后可以取证的指标，可以识别一台主机或整个网络。通过遵循该标准，可以建立IOC的逻辑分组，在机器中以一种可读的格式进行通信，从而实现威胁情报的交流共享。比如事件响应团队可以使用Open IOC的规范编写多个IOCs来描述一个威胁的技术共性。原生的Open IOC工具对行为的刻画依赖指标项的组合来实现，而这些指标项仅局限于主机与网络。

发明内容

本发明的目的在于提供一种基于Open IOC的大数据快速威胁检测系统，实现了一个解决大数据环境下，利用Open IOC威胁情报对整个IT环境进行快速威胁检测的系统。

为实现上述目的，本发明提供如下技术方案：

一种基于Open IOC的大数据快速威胁检测系统，所述检测系统利用beats采集IT环境全栈事件数据，并使用Elastic Search实现高达PB级数据的存储与检索，基于OpenIOC检索转换接口，将威胁库中的Open IOC策略对全栈事件数据实现准实时的检测，本检测系统包括事件数据采集模块、传输与归一化模块、Open IOC威胁库、 Open IOC大数据检索模块、web模块。

优选的，所述事件数据采集模块负责采集IT环境中全栈事件信息，包括但不限于主机、服务器、存储设备、交换设备、安全设备的物理信息以及操作系统、web服务器、中间件、应用系统等软件各项指标信息及日志、主机流量信息。为了覆盖全栈数据，该模块支持客户端以及标准协议的采集，客户端主要基于原生beats及自定义beat 采集主机及服务器相关事件数据；各种设备事件信息通过syslog、SNMP等标准协议进行采集；同时，事件数据收集模块还负责流量的协议解析。