[发明专利]基于分级复用的日志数据流的查询共享方法和系统有效
申请号: | 201710320562.8 | 申请日: | 2017-05-09 |
公开(公告)号: | CN107193898B | 公开(公告)日: | 2019-12-03 |
发明(设计)人: | 张进东;孙毓忠 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/14 |
代理公司: | 11006 北京律诚同业知识产权代理有限公司 | 代理人: | 祁建国;梁挥<国际申请>=<国际公布>= |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 共享 日志 元组 查询操作 查询语句 数据流 中间结果 子查询 截取 存储 预处理 查询 查询存储 查询结果 分级复用 共享队列 滑动窗口 计算资源 快速索引 数据共享 有效存储 中间存储 谓词 抽取 迁移 保证 | ||
1.一种基于分级复用的日志数据流的查询共享方法,其特征在于,包括:
步骤1、将包含多个查询语句的查询操作注册到系统,通过设定滑动窗口对日志数据流中的元组进行截取,作为截取元组;
步骤2、对该查询语句进行预处理,提取其中具有相同子查询的查询语句,作为提取查询语句,并将该提取查询语句所对应的查询结果作为中间结果加以存储,该中间结果用以在多个查询操作间进行共享;
步骤3、该截取元组中提取具有相同中间存储结构的元组,作为提取元组,并将该提取元组采用共享队列的方式加以存储,以在多个查询操作间进行共享;
其中,步骤2中该相同子查询,包括查询语句间操作符相同及其关联的操作数也相同;
该共享队列具有二级索引,包括:主队列,用作接收、存储和传递该相同元组;从队列,用于存储和发送该相同元组在日志数据流中的索引至该主队列;其中主队列和从队列间的通信采用异步模式。
2.如权利要求1所述的基于分级复用的日志数据流的查询共享方法,其特征在于,该步骤1中采用对日志数据流概要数据结构进行查询或对无限的日志数据流进行抽样的方法对日志数据流中元组进行截取。
3.如权利要求1所述的基于分级复用的日志数据流的查询共享方法,其特征在于,步骤2中该预处理包括:根据数据库引擎里的词法分析语法分析模块对该查询语句进行转换,将复杂查询语句转换为简单查询语句;调整该查询语句中查询操作符的顺序,将查询转换成内部表示。
4.一种基于分级复用的日志数据流的查询共享系统,其特征在于,包括:
截取模块,用于将包含多个查询语句的查询操作注册到系统,通过设定滑动窗口对日志数据流中的元组进行截取,作为截取元组;
查询结果共享模块,用于对该查询语句进行预处理,提取其中具有相同子查询的查询语句,作为提取查询语句,并将该提取查询语句所对应的查询结果作为中间结果加以存储,该中间结果用以在多个查询操作间进行共享;
元组共享模块,用于在该截取元组中提取具有相同中间存储结构的元组,作为提取元组,并将该提取元组采用共享队列的方式加以存储,以在多个查询操作间进行共享;
其中,元组共享模块中该共享队列具有二级索引,包括:主队列,用作接收、存储和传递该相同元组;从队列,用于存储和发送该相同元组在日志数据流中的索引至该主队列;其中主队列和从队列间的通信采用异步模式;
查询结果共享模块中该相同子查询,包括查询语句间操作符相同及其关联的操作数也相同。
5.一种如权利要求4所述的基于分级复用的日志数据流的查询共享系统,其特征在于,该截取模块中采用对日志数据流概要数据结构进行查询或对无限的日志数据流进行抽样的方法对日志数据流中元组进行截取。
6.如权利要求4所述的基于分级复用的日志数据流的查询共享系统,其特征在于,查询结果共享模块中该预处理包括:根据数据库引擎里的词法分析语法分析模块对该查询语句进行转换,将复杂查询语句转换为简单查询语句;调整该查询语句中查询操作符的顺序,将查询转换成内部表示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710320562.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:窗口调整的方法和装置
- 下一篇:智能可调高压泵站系统