[发明专利]一种靶场中时序数据的存储与快速统计方法及系统

权利要求书

1.一种靶场中时序数据的存储与快速统计方法，其特征在于，所述方法包括如下步骤：

将时序数据分别按照时间戳和靶场事件数据值进行排序，得到第一数据集合和第二数据集合；在排序过程中获取时间戳的最大值和最小值，以及靶场事件数据值的最大值和最小值；所述时序数据至少包括记录靶场中某一事件发生时的时间戳和相应的靶场事件数据值；

将时间戳的最值之间以及靶场事件数据值的最值之间分别均匀分段，生成矩阵式索引块，每个索引块代表指定数值范围的时间戳和靶场事件数据值；索引块元数据包括该索引块对应的时间戳和靶场事件数据值的最值、该索引块覆盖的所有靶场事件数据值的累加和、覆盖的实际元素个数、索引块覆盖的元素中时间戳的最小值在实际存储文件中的偏移地址以及靶场事件数据值的最小值在实际存储文件中的偏移地址；

将第一数据集合逐条写入磁盘，得到第一文件；在数据写入过程中更新对应的索引块元数据，包括更新靶场事件数据的累加和、实际元素个数、时间戳的最小值在实际存储文件中的偏移地址；将第二数据集合逐条写入磁盘，得到第二文件，在数据写入过程中更新对应索引块元数据的靶场事件数据值的最小值在实际存储文件中的偏移地址；

在接收到统计查询需求时，首先根据查询条件确定需要被查询的所有索引块，然后根据每个被查询的索引块的状态计算实际需要执行的物理查询计划，对于索引块无实际的物理存储数据或所有数据均符合查询条件的，不执行实际物理查询；对于索引块的部分数据符合查询条件，执行实际物理查询，最后综合查询条件对应所有索引块的结果，完成快速统计；

在需要执行实际物理查询时，将对具有相同时间戳范围的索引块对应到查询第一文件，记为一次查询，将对具有相同靶场事件数据值范围的索引块对应到查询第二文件，记为一次查询；在覆盖所有需要实际物理查询的索引块的情况下，若查询第一文件的总次数小于查询第二文件的总次数，则从第一文件中执行实际物理查询，若查询第二文件的总次数小于查询第一文件的总次数，则从第二文件中执行实际物理查询。

2.根据权利要求1所述的靶场中时序数据的存储与快速统计方法，其特征在于，在需要执行实际物理查询时，以磁盘访问次数最小为原则确定最优执行计划：优先将对连续的索引块的查询对应到查询同一文件，选取查询文件总次数最少的且能覆盖所有需要实际物理查询的索引块的查询计划为最优执行计划。

3.根据权利要求1所述的靶场中时序数据的存储与快速统计方法，其特征在于，通过物理查询计划从第一文件或第二文件中查找符合查询条件的数据，记录累加值或个数，结合所有数据均符合查询条件的索引块对应的元数据记录的累加值或个数，得到最终统计结果。

4.根据权利要求1所述的靶场中时序数据的存储与快速统计方法，其特征在于，所述靶场事件数据值为从靶场中物理机或虚拟机上采集的能够量化存储的数据值，包括CPU使用率、内存占用率、进程号、磁盘IO或网卡数据流量；所述时序数据中还记录靶场事件数据值对应的物理机或虚拟机的标记信息和/或环境信息。

5.根据权利要求1所述的靶场中时序数据的存储与快速统计方法，其特征在于，所述统计包括求和、求均值、统计满足查询约束条件的个数中的一种或多种。