[发明专利]大规模并行处理行列混合数据存储装置及存储、查询方法有效
申请号: | 201611123673.1 | 申请日: | 2016-12-08 |
公开(公告)号: | CN106777027B | 公开(公告)日: | 2021-03-09 |
发明(设计)人: | 孙乔;邓卜侨;付兰梅;孙雷;马慧远;刘炜;崔伟;聂晓波;吴芃 | 申请(专利权)人: | 北京中电普华信息技术有限公司;国家电网有限公司;国网北京市电力公司;北京中电飞华通信股份有限公司;国网信息通信产业集团有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2457;G06F16/28;G06F9/46 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 李阳;李浩 |
地址: | 100085 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大规模 并行 处理 行列 混合 数据 存储 装置 查询 方法 | ||
1.一种大规模并行处理行列混合数据存储装置,其特征在于,包括:
联机事务处理模块,用于进行事务处理;
联机分析处理模块,用于进行数据分析;
存储模块,用于根据数据的访问频率将数据存入联机事务处理模块或联机分析处理模块;
跨层查询模块,用于根据查询语句对联机事务处理模块或联机分析处理模块中的数据进行查询;
跨层交互模块,用于在联机事务处理模块和联机分析处理模块之间进行相互查询和存储;其中,所述联机事务处理模块中包含:
行存储模块,用于以行形式存储存入联机事务处理模块的数据;
行存储引擎,用于为行存储模块中的数据提供查询索引;所述联机分析处理模块中包含:
列存储模块,用于以列形式存储存入联机分析处理模块的数据;
列存储引擎,用于为列存储模块中的数据提供查询索引。
2.根据权利要求1所述的大规模并行处理行列混合数据存储装置,其特征在于,所述跨层查询模块包含:
接收模块,用于接收用户输入的查询语句;
判断模块,判断所查询的数据存储在联机事务处理模块中还是在联机分析处理模块中;
第一分析模块,由于对查询语句进行分析以产生语法树;
第二分析模块,用于对语法树进行分析以产生逻辑规划;
优化模块,用于对查询语句进行优化;
获取模块,用于从联机事务处理模块或联机分析处理模块中获取查询索引;
输出模块,用于输出查询结果。
3.根据权利要求1所述的大规模并行处理行列混合数据存储装置,其特征在于,所述存储模块包含:
分类模块,用于根据历史经验将数据分为频繁访问数据和非频繁访问数据;
第一数据存储模块,用于将频繁访问数据存入联机事务处理模块;
第二数据存储模块,用于将非频繁访问数据存入联机分析处理模块;
第一索引模块,用于为联机事务处理模块中的数据构建第一存储引擎;
第二索引模块,用于为联机分析处理模块中的数据构建第二存储引擎。
4.根据权利要求3所述的大规模并行处理行列混合数据存储装置,其特征在于,所述第一存储引擎为行存储引擎,所述第二存储引擎为列存储引擎。
5.一种基于如权利要求1~4中任一项所述装置的存储方法,其特征在于,包括:
将数据输入存储模块;
通过存储模块,根据数据的访问频率将数据存入联机事务处理模块或联机分析处理模块;
分别为联机事务处理模块和联机分析处理模块中的数据建立存储引擎。
6.根据权利要求5所述的存储方法,其特征在于,所述联机事务处理模块中的数据以行形式存储,所述联机分析处理模块中的数据以列形式存储。
7.一种基于如权利要求1~4中任一项所述装置的查询方法,其特征在于,包括:
通过跨层查询模块接收来自用户的查询语句;
判断所查询数据的存储位置;
对查询语句进行分析,产生查询命令;
根据查询命令从联机事务处理模块或联机分析处理模块中获取查询索引;
输出查询结果。
8.根据权利要求7所述的查询方法,其特征在于,所述对查询语句进行分析的步骤包括:
对查询语句进行分析,产生语法树;
对语法树进行二次分析,产生逻辑规划;
对查询语句进行优化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京中电普华信息技术有限公司;国家电网有限公司;国网北京市电力公司;北京中电飞华通信股份有限公司;国网信息通信产业集团有限公司,未经北京中电普华信息技术有限公司;国家电网有限公司;国网北京市电力公司;北京中电飞华通信股份有限公司;国网信息通信产业集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611123673.1/1.html,转载请声明来源钻瓜专利网。