[发明专利]针对大规模数据库集群的安全态势感知分析技术及系统

说明书

本发明提出了一种针对大规模数据库集群的安全态势感知分析技术及系统，涉及数据库审计领域。一种针对大规模数据库集群的安全态势感知分析技术包括：对数据库通信数据包进行抓包，抓取的数据包进行数据流量解析，将解析结果发送到实时流处理引擎进行处理和特征提取出实时信息，消息队列缓冲及转发实时信息，接收实时信息并存储在分布式数仓，进行分布式计算，将计算结果分发到主题数据库存储，拉取主题数据库的计算结果进行BI分析展示。此外本发明还提出了一种针对大规模数据库集群的安全态势感知分析系统。其能够对大规模数据库集群进行安全审计，实现大规模数据库集群整体的安全态势感知可视化展现。

技术领域

本发明涉及数据库审计领域，具体而言，涉及一种针对大规模数据库集群的安全态势感知分析技术及系统。

背景技术

现有技术无法满足大规模数据库集群的日志信息采集，由于大规模数据库集群数据吞吐高，日志信息在单位时间内的数量大造成传统数据库安全技术不能够对数据流量进行及时解析造成数据丢包，最终结果就是漏审。

传统数据库安全审计技术的日志信息一般存储在关系型数据库(RDBS)中因此数据存储量比较低，一般是GB-TB级别。由于大规模数据库集群的日志信息量通常都是PB级别，因此传统数据库安全设计技术存储资源难以承载PB级别的数据量。

传统数据库安全审计技术无法针对海量信息(通常指PB级别)进行复杂计算，因为传统数据库审计技术通常以单机(单台计算机)为载体，计算效率低。

传统数据库审计技术主要通过WEB UI通过JDBC驱动连接本地关系型数据库进行检索和数据展示，不能够实时提供交互式分析结果展示，另外检索速度慢，统计维度少，可视化效果差。

发明内容

本发明的目的在于提供一种针对大规模数据库集群的安全态势感知分析技术，其能够实现对大规模数据库集群进行安全审计，针对海量安全审计日志通过分布式计算和丰富的安全算法提供多维度实时数据库安全分析，实现大规模数据库集群整体的安全态势感知可视化展现。

本发明的另一目的在于提供一种针对大规模数据库集群的安全态势感知分析系统，其能够运行一种针对大规模数据库集群的安全态势感知分析技术。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种针对大规模数据库集群的安全态势感知分析技术，其包括对数据库通信数据包进行抓包，抓取的数据包进行数据流量解析，将解析结果发送到实时流处理引擎进行处理和特征提取得到实时信息，消息队列缓冲及转发实时信息，接收实时信息并存储在分布式数仓，对实时信息进行分布式计算，将计算结果分发到主题数据库存储，拉取主题数据库的计算结果进行BI分析展示。

在本发明的一些实施例中，上述对数据库通信数据包进行抓包包括：通过网卡接收到数据流对数据包进行重组，重组后对TCP/IP报文进行解析提取数据库通讯协议信息，解析数据库通讯协议提取SQL语句，将所述SQL语句转发。

在本发明的一些实施例中，上述对抓取的数据包进行数据流量解析包括：接收数据之后对SQL进行流处理，对流数据进行清洗和转换，对特征进行数据预处理，对信息进行打标签。

在本发明的一些实施例中，上述将解析结果发送到实时流处理引擎进行处理和特征提取出实时信息包括：接收到标签数据之后提取特征。

在本发明的一些实施例中，上述通过消息队列缓冲及转发实时信息包括：通过kafka接收实时信息并通过内存缓冲机制将所述实时信息进行定时转发。

在本发明的一些实施例中，上述接收实时信息并存储在分布式数仓包括:由ArgoDB分布式数据库来承担数据存储任务，将Kafka转发过来的信息以二维表的方式进行固化存储。