[发明专利]一种靶场中时序数据的存储与快速统计方法及系统

说明书

本发明公开了一种靶场中时序数据的存储与快速统计方法及系统。本发明中自定义了时序数据的矩阵式索引块，根据时间戳和靶场事件数据值的最值进行均匀分段，每个索引块代表一个指定范围的时序数据，并通过元数据记录物理存储和局部数据范围的统计信息；在接收到统计查询需求时，首先根据查询条件确定需要被查询的所有索引块，然后根据每个被查询的索引块的状态计算实际需要执行的物理查询计划，最后综合查询条件对应所有索引块的结果，完成快速统计。本发明通过建立自定义分段索引，可以快速定位需要查询的文件范围，从而减少磁盘的交互次数；通过在索引建立阶段记录必要的统计数据，减少不必要的磁盘数据查询。

技术领域

本发明涉及一种靶场中时序数据的存储与快速统计方法及系统，属于网络安全、计算机软件领域。

背景技术

网络靶场是通过虚拟化技术，模拟仿真出真实网络空间攻防作战环境，能够支撑作战能力研究和武器装备验证的试验平台。靶场实际运行过程中随着用户的使用，系统会产生很多基于时间戳的时序数据，对该类数据的分析可以更好的指导靶场研究工作。

系统产生的时序数据经过预处理后，一般包含两个维度，形式如[t₁, v₁],[t₂,v₂],[t₃, v₃]…。其中t₁, t₂, t₃为单调递增的时间序列，v₁, v₂, v₃代表了靶场中某个事件发生时的参考值（如记录物理集群在每个时间点CPU使用率、内存占用率等）。考虑到事件发生的随机性，该值的概率分布呈现高斯特性，即v的值在某个指定的范围内([vmin, vmax])完全随机。

针对此类数据的存储与统计，现有流程如图1所示，主要包括：1、将该类数据存入关系型数据库（如mysql）；2、考虑到数据的时序特性，针对时间戳t值建立索引，方便针对时间的数值筛选；3、系统通过数据查询的方式使用此类数据，一般的查询条件为t1=t=t2,v1=v=v2，即查询时间戳t和v值分别在某个区间内的数据；4、首先利用时间戳索引，过滤出时间范围在[t1, t2]之间的数据集合S；因为v值的无序性，该数据集合S包含很多v值不满足v1=v=v2的数据；假设v的范围为[vmin, vmax]，考虑到数据分布的随机特性，其中有用的数据仅有(v2-v1)/(vmax-vmin)；5、通过逐条遍历的方式，将步骤4中v值不满足条件的数据丢弃，从而得到所有符合条件的数据集合；6、对步骤5中数据集合的每个v值进行累加求和、求均值等统计计算，从而得到最终输出结果。

现有方案存在如下问题：1、无法针对两个维度同时建立索引，因为在数据量较大的情况下，此类联合索引会超过内存的存储上限；2、只支持按时间戳维度顺序内容检索，无法针对数据的另一个维度进行快速统计分析；3、两个维度数据不相关的情况下，对两个维度同时进行约束查询，只能先按时间戳维度做数据筛选，然后再对另一个维度筛选，此过程需要从磁盘读取大量无用数据，检索效率低。

发明内容

发明目的：针对上述现有技术存在的问题，本发明目的在于提供一种靶场中时序数据的存储与快速统计方法及系统，优化数据的索引结构，提高查询统计效率。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种靶场中时序数据的存储与快速统计方法，所述方法包括如下步骤：

将时序数据分别按照时间戳和靶场事件数据值进行排序，得到第一数据集合和第二数据集合；在排序过程中获取时间戳的最大值和最小值，以及靶场事件数据值的最大值和最小值；所述时序数据至少包括记录靶场中某一事件发生时的时间戳和相应的靶场事件数据值；