[发明专利]一种基于时序数据的时间投影的索引方法及系统有效
申请号: | 202011590816.6 | 申请日: | 2020-12-29 |
公开(公告)号: | CN112650756B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 王勇 | 申请(专利权)人: | 科来网络技术股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
代理公司: | 成都九鼎天元知识产权代理有限公司 51214 | 代理人: | 陈法君 |
地址: | 610041 四川省成都市中国(四川)自由贸易试验*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 时序 数据 时间 投影 索引 方法 系统 | ||
1.一种基于时序数据的时间投影的索引方法,其特征在于,所述索引方法包括:
抓取一组数据包,将数据包按照四元组进行聚合统计,生成统计数据,统计数据按周期存入磁盘;
根据统计数据构造时间投影索引,将时间投影索引按周期存入磁盘;
所述时间投影索引的构造包括:
选定一个时间周期作为时间投影的统计周期,并选定时间投影索引的时间刻度,基于时间刻度完成整个统计周期上统计数据的比特位设置,形成该统计周期上的投影索引;
检索统计数据时,先读取检索时间范围的时间投影索引,接着根据索引和检索时间获得有效的时间范围,再用有效的时间范围读取统计数据,最后将读到的统计数据进行过滤,得到目标数据。
2.一种基于时序数据的时间投影的索引系统,其特征在于,所述索引系统包括分析服务器,所述分析服务器包括采集口、分析模块、查询模块、数据包采集模块和存储模块;
所述数据包采集模块被配置为基于采集口进行数据源的抓取并生成统计数据;所述分析模块被配置为基于统计数据进行时间投影索引的构造;所述存储模块被配置为在每个统计周期的索引生成后,进行相应索引数据的存储;所述查询模块被配置为基于读取的时间投影索引以及根据索引的结果过滤出的有效时间,进行目标数据的读取;
所述时间投影索引的构造包括:
选定一个时间周期作为时间投影的统计周期,并选定时间投影索引的时间刻度,基于时间刻度完成整个统计周期上统计数据的比特位设置,形成该统计周期上的投影索引。
3.如权利要求2所述的基于时序数据的时间投影的索引系统,其特征在于,所述数据源的抓取过程具体包括在网络中,找到出口交换机,并把流量镜像给分析服务器,分析服务器通过采集口完成数据源的抓取。
4.如权利要求3所述的基于时序数据的时间投影的索引系统,其特征在于,所述统计数据的生成包括将获得数据源按照预设规则进行聚合统计并得到统计结果。
5.如权利要求4所述的基于时序数据的时间投影的索引系统,其特征在于,所述预设规则不限于为四元组ip1+ip2+port1+port2规则或者二元组ip1+ip2规则。
6.如权利要求4所述的基于时序数据的时间投影的索引系统,其特征在于,进行目标数据的读取过程包括:
判断检索条件所需要检索的时间和该时间范围投影索引做交集,得到有效的时间范围,接着用这些有效的时间,从磁盘读数据,然后从读到的数据中根据条件进行过滤,得到需要检索的数据。
7.如权利要求2所述的基于时序数据的时间投影的索引系统,其特征在于,所述存储模块不限于由磁盘构成。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科来网络技术股份有限公司,未经科来网络技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011590816.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:土霉素菌渣无害化处置工艺
- 下一篇:巨型星座干扰概率分布的获取方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置