[发明专利]一种分布式数据存储结构及数据存储方法和数据查询方法

说明书

本发明公开了一种分布式数据存储结构及其数据存储方法和查询方法。涉及模块包括：主控节点：用于建立数据存储单元Block到所在的物理机器的映射关系、统计全局负载情况以及生成数据存储单元Block的ID。数据导入管理器：对外部数据进行缓存，生成数据存储单元Block，导入数据存储单元Block到存储节点。存储节点：存储数据存储单元Block，对查询者提供查询功能。

技术领域

本发明涉及数据存储计算领域，特别涉及一种分布式数据存储结构及数据存储方法和数据查询方法。

背景技术

传统的行式数据库，是按照行存储的。行式存储一般用在关系数据库中，其优势在于处理OLTP型业务。而列式数据库恰恰相反，列式数据库的数据是按照列存储，每一列单独存放，数据访问某些列时，只需要访问查询涉及的列，大大降低了系统的数据传输量。而且，由于数据类型一致，数据特征相似，极大方便压缩，提到了压缩率。行式数据库擅长随机读和更新操作，列式数据库则更擅长大批量数据量查询。而行列混合存储兼顾了行存储和列存储的优点。行列存储中一个重要的问题，就是如何索引数据，以达到数据快速定位。以及如何在有索引情况下，降低内存使用量。

现有技术技术一方案：

CN201310296167数据库系统的行列混合存储方法。这个方法是行列混合存储是以表为单位。也就是说，一个表要么整个表都是行存储，要么整个表都是列存储。

该方法 在数据库系统的存储层分别设立一个行存储引擎和一个列存储引擎，然后由访问接口层将两者封装起来，对列表进行元组物化，对行表进行投影，向查询引擎提供统一的数据访问接口，从而隐藏存储差别，实现查询处理的统一化。

行列混合存储查询流程。根据创建表时的存储模型，在查询语句的解析阶段，获取表的存储模式；结合查询分析的相关信息生成 <文件ID,存储模式,属性列表,选择条件列表> 四个访问参数。执行引擎在访问数据时将访问参数传给存储引擎，存储引擎根据参数选择适当的方法读取数据并作选择、投影处理后返回数据。

现有技术技术一方案缺点：

由于一个表要么是整个表都是行存储，要么整个表都是列存储。已定的存储方案并不能够很好的应对对表的更新后的存储。比如，原定于适应于行存储的表，由于表的更新，列存储更加适合。此时，表需要重新存储。表重新存储代价大。

现有技术技术二方案：

Hyper数据库管理系统提出数据组织方式——《Data Blocks: Hybrid OLTP andOLAP on Compressed Storage using both Vectorization and Compilation》。其数据组织结构头部中，设定了数据相对部分的偏移量。分别是SMA、字典、数据压缩策略，和字符数据的偏移量。Hyper提出的存储结构包括：tuple count、sma offset、dict offset、dataoffset、string offset。

tuple count是该存储单元中的存储的单列数据的行数，sma offset、dictoffset、data offset、string offset分别是SMA、字典、非字符类型数据、字符类型数据对应于存储单元起始位置的偏移量，compression是数据的压缩方式。

现在技术二方案缺点：

其数据组织结构头部中，设定了数据相对部分的偏移量。分别是SMA、字典、数据压缩策略，和字符数据的偏移量。这么设定，限定了接下来数据的组织方式必须有SMA等。虽然这些字段只是偏移量，如果我们不用字典，可以通过将字典偏移量字段设置为一个无效值。但是，如此一来，字典偏移量字段本身占用了额外空间。