[发明专利]一款内网多元数据关联分析引擎软件

说明书

本发明属于网络安全监测技术领域，尤其是一款内网多元数据关联分析引擎软件，针对无法对日志和告警进行实时关联分析的问题，现提出以下方案，包括初始化单元、日志加载单元、告警回溯单元、配置文件和数据库，所述数据库包括规则、知识库和告警信息，所述初始化单元和规则加载单元相连，所述规则加载单元和资源加载单元相连，所述资源加载单元和日志加载单元相连，所述日志加载单元和预告警单元相连，所述预告警单元和告警完善单元相连，所述告警完善单元和告警入库单元相连，所述告警入库单元和告警回溯单元相连。本发明实现了针对网络中日志和第三方告警的实时关联分析，并支持以多种方式输出到各类平台存储，能够高效分析网络安全数据。

技术领域

本发明涉及网络安全监测技术领域，尤其涉及一款内网多元数据关联分析引擎软件。

背景技术

网络安全监测就是通过实时分析网上数据流来监测非法入侵活动，并根据监测结果实时报警、响应，达到主动发现入侵活动、确保网络安全目的。随着大数据技术和网络安全技术的发展，网络中各类设备和系统种类日志增多，生成的日志量、第三方告警量也急剧增加，给安全分析人员带来了新的挑战。如何将海量结构化日志和第三方告警数据进行实时分析和关联分析，是网络分析的一个难题。

传统关联分析引擎多内嵌于集中安全监管平台内部，很少作为独立的产品对外提供数据分析服务，使用其关联分析引擎必须绑定其SOC平台；开源的分析引擎基本都是提供计算和分析框架，用户需要一定的编程工作才能使用，使用门槛相对较，因此需要一款内网多元数据关联分析引擎软件将海量结构化日志和第三方告警数据进行实时分析和关联分析。

发明内容

基于背景技术中提出的技术问题，本发明提出了一款内网多元数据关联分析引擎软件。

本发明提出的一款内网多元数据关联分析引擎软件，包括初始化单元、日志加载单元、告警回溯单元、配置文件和数据库，所述数据库包括规则、知识库、日志数据和告警信息，所述初始化单元和规则加载单元相连，所述规则加载单元和资源加载单元相连，所述资源加载单元和日志加载单元相连，所述日志加载单元和预告警单元相连，所述预告警单元和告警完善单元相连，所述告警完善单元和告警入库单元相连，所述告警入库单元和告警回溯单元相连；

所述初始化单元用于在引擎启动后加载配置文件中的配置信息并完成初始化，所述规则加载单元用于在配置信息的基础上加载数据库中的规则，所述资源加载单元用于加载数据库中信息形成知识库，所述日志加载单元用于在配置信息的基础上加载日志数据并完成数据字段的解析与拆分，所述预告警单元用于在规则的基础上完成对日志数据的匹配并将符合规则的日志数据初步筛选得出疑似告警，所述告警完善单元用于将初步的疑似告警与知识库进行匹配并完善，所述告警入库单元用于将告警数据存入统一的队列进行缓存并由特定的进程完成告警的入库存储，所述告警回溯单元用于将数据库中的告警信息和已经入库的历史日志数据进行重新匹配并分析产生新的告警。

优选地，所述配置文件中的配置信息包括数据源、资源分配、并发数、字段映射和归并维度等。

优选地，所述知识库包括资源信息、资产信息、特征信息、IP信息、Port信息、Time信息、黑名单信息和白名单信息等。

优选地，所述告警完善单元进行告警确认环节，剔除疑似告警，并对确认的告警进行信息完善。

优选地，所述告警完善单元需要完善的信息包括人员信息、组织机构和漏洞信息等。

优选地，所述规则加载单元在配置信息的基础上加载数据库中的规则后需要完成规则解析，再完成对规则的动态更新。

优选地，所述资源加载单元对文件操作进行实时的触发式监测，监测到变更操作时，比较变更前后的文件指纹，当发现变更成功后精确监测变更操作的类型，并进行详细记录。

优选地，所述资源加载单元中监测变更操作的类型包括新增、删除、修改、替换和重命名等。