[发明专利]一种基于知识图谱的安全日志分析系统

说明书

本发明公开了一种基于知识图谱的安全日志分析系统，包括安全日志数据采集模块，用于采集网络安全设备产生的安全日志，进行缓存及过滤处理；安全日志知识图谱构建模块，采用自底向上迭代更新方式，通过知识抽取、融合和加工，对各类型数据源进行解析处理，构建本体，形成安全日志知识图谱；基于知识图谱的安全日志分析模块，用于根据安全日志知识图谱对多样化安全事件信息进行综合分析处理以及安全日志关联分析。本发明将知识图谱技术与安全日志关联分析相结合，对采集安全日志的流量进行控制及过滤，将安全日志数据与网络安全数据相结合进行知识图谱构建，利用知识推理技术挖掘安全日志实体等数据的关联性，更加直观地反映了数据之间的逻辑关系。

技术领域

本发明属于网络空间安全领域，特别是一种基于知识图谱的安全日志分析系统。

背景技术

随着互联网的飞速发展，许多网络安全设备被广泛应用来防范网络攻击，例如入侵检测系统、杀毒软件和网络安全防火墙等。这些系统或软件可以对大部分的网络安全威胁进行告警处理，能够监控网络的运行情况并一定程度上遏制攻击行为。但是随着互联网的发展，攻击行为的数量急速增加，这些安全设备每天都会产生海量的日志数据，对网络的安全管理效率造成很大的影响。统一的收集管理这种大规模异构的安全日志变得十分困难，对于异常的日志数据，无法查看相关联的可能发生异常的日志数据。

然而，传统的分析技术难以满足如此大规模的日志数据要求。大多数传统日志分析技术都基于正则表达式规则或者经验特征，因此难以应对未知的攻击手段且有很高的误报率。即使部分传统检测算法体现出较好的检测效果，也缺乏一定的适应性和灵活性。只通过从低级孤立的安全告警日志中，发现深层次的攻击意图和攻击行为是十分困难的，难以挖掘数据之间的相关性。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种基于知识图谱的安全日志分析系统。

实现本发明目的的技术解决方案为：一种基于知识图谱的安全日志分析系统，所述系统包括安全日志数据采集模块、安全日志知识图谱构建模块、基于知识图谱的安全日志分析模块；

所述安全日志数据采集模块，用于采集网络安全设备产生的安全日志，并在进行缓存以及过滤处理后将安全日志发送到安全日志知识图谱构建模块；

所述安全日志知识图谱构建模块，采用自底向上迭代更新的方式，通过知识抽取、知识融合和知识加工，针对各种类型的数据源进行解析处理，构建本体，形成安全日志知识图谱，并提供给基于知识图谱的安全日志分析模块进行关联性分析；

所述基于知识图谱的安全日志分析模块，用于根据安全日志知识图谱对多样化安全事件信息进行综合分析处理以及安全日志关联分析。

优选地，所述网络安全设备包括入侵检测系统IDS、杀毒软件和网络安全防火墙Firewall。

优选地，所述安全日志数据采集模块采集目标安全日志数据的过程包括：

在所有需要收集安全日志的服务上部署日志收集工具，由这些工具监控并过滤收集安全日志，并将日志发送到消息队列Redis中进行缓存；

设置合理限制流量阈值，由日志收集工具对Redis进行监控，将缓存的日志过滤后写入分布式全文搜索引擎Elasticsearch集群中存储。数据分析和可视化平台进行可视化读取分析。

优选地，所述日志收集工具包括轻量级的日志采集工具Filebeat和具有filter功能的日志收集处理框架Logstash；所述对Redis进行监控具体通过Logstash indexer实现；所述数据分析和可视化平台为Kibana。

优选地，所述安全日志数据采集模块还用于对采集到Elasticsearch集群的日志根据日志的数据形式将安全日志分为非结构化日志、半结构化日志和结构化日志。

优选地，所述安全日志知识图谱构建模块下构建安全日志知识图谱的具体过程为：