[发明专利]一种数据实时计算统计的方法、装置、设备及介质

说明书

本公开涉及一种数据实时计算统计的方法、装置、设备及介质，该方法包括：采用消息中间件将数据源的数据均衡地发布到多个计算节点上；多个计算节点采用并行方式将各自接收到的数据存入SQLite内存模式数据库作为第一数据，对第一数据执行如下统计任务：根据预设的业务需求配置文件，从第一数据中过滤出第二数据，将第二数据存入SQLite内存模式数据库；根据业务配置文件操作SQL语句，对第一数据进行统计运算，生成中间计算结果；将中间计算结果存入SQLite内存模式数据库并推送至下一层级的计算节点；将多个中间结果数据推送至汇总节点，通过汇总节点对多个中间结果数据进行计算统计。本公开能够更加灵活、简单有效地实现数据实时计算统计。

技术领域

本公开涉及网络安全技术领域，尤其涉及一种数据实时计算统计的方法、装置、设备及介质。

背景技术

随着信息技术发展，网络通信领域数据量爆发式增长，为了应对大数据快速处理，数据实时计算、灵活地对数据流实时统计等成为了广泛且迫切的需求。

当前，对于数据流信息统计方式有两种，第一种是数据流入库后进行查询，存在数据量大，查询时间长的问题。第二种采用固定算法统计数据流信息，例如利用BTree实时计算数据并存储，该方式灵活性很差，当统计内容或数据流变化后，算法必须同步更改，无法适应需求的快速变化。

发明内容

为了解决上述技术问题，本公开提供了一种数据实时计算统计的方法、装置、设备及介质。

本公开提供了一种数据实时计算统计的方法，包括：

采用消息中间件将数据源的数据均衡地发布到多个计算节点上；

所述多个计算节点采用并行方式将各自接收到的数据存入SQLite内存模式数据库作为第一数据，对所述第一数据执行统计任务；其中，针对当前计算节点，所述统计任务包括：

根据预设的业务需求配置文件，从所述第一数据中过滤出第二数据，将所述第二数据存入SQLite内存模式数据库；

以及，根据所述业务配置文件操作SQL语句，对所述第一数据进行统计运算，生成中间计算结果；其中，所述统计运算包括：检索、合并和统计更新；

以及，将所述中间计算结果存入所述SQLite内存模式数据库，并将所述中间计算结果推送至下一层级的计算节点；

根据以上统计任务得到多个所述计算节点的中间结果数据，将多个所述中间结果数据推送至汇总节点，通过所述汇总节点对多个所述中间结果数据进行计算统计。

可选的，所述通过所述汇总节点对多个所述中间结果数据进行计算统计，包括：通过所述汇总节点根据预设的业务配置，对多个所述中间结果数据进行数据分类合并，定时生成统计数据；将所述统计数据输出给用于审计业务的业务端。

可选的，所述消息中间件为ZeroMq消息中间件。

可选的，所述方法还包括：

在所述ZeroMq消息中间件启动后，调用用于创建ZMQ环境上下文的函数，创建上下文指针；调用用于创建ZMQ套接字的函数，创建用于发送消息的套接字指针；调用用于绑定套接字的函数，绑定所述计算节点的地址；通过所述ZeroMq消息中间件监听所述计算节点的连接请求；在所述计算节点创建用于接收消息的套接字指针，以及调用用于创建对外连接的函数连接所述ZeroMq消息中间件后，所述计算节点和所述ZeroMq消息中间件握手并建立连接。

可选的，所述方法还包括：所述当前计算节点加载预设的业务配置文件，调用用于打开数据库链接的函数创建SQLite内存模式数据库并生成入库处理指针，调用SQLite3_exec执行结构化查询语言SQL，以创建统计表；

所述将所述第二数据存入SQLite内存模式数据库，包括：将所述第二数据插入所述SQLite内存模式数据库的所述统计表中。