[发明专利]一种多维大数据分布式存储查询方法和系统

权利要求书

1.一种多维大数据分布式存储查询方法，其特征是：包括如下步骤：

输入待存储的多维数据群，对多维数据群进行预处理，使得多维数据群中的多维数据转化为标准多维数据；

对多维数据群定义维度和度量，建模得到N维数据立方体，并由标准多维数据组成N维数据立方体的维点；

判断标准多维数据是否达到预设数据抽稀条件，如果达到则对标准多维数据进行数据抽稀；

判断标准多维数据是否达到预设数据分片条件，如果达到则对标准多维数据进行数据分片；

基于经过数据抽稀和数据分片的标准多维数据，根据N维数据立方体的维度进行分布式存储；

基于多维数据群的分布式存储，根据查询请求的查询需要，将查询请求拆分生成若干子请求，并异步发出所述子请求。

2.根据权利要求1所述的一种多维大数据分布式存储查询方法，其特征是：所述对多维数据群进行预处理的方式，包括对多维数据群的多维数据进行数据规整和异常值处理。

3.根据权利要求2所述的一种多维大数据分布式存储查询方法，其特征是：对多维数据群的多维数据进行数据规整的过程为：以缺省值补全多维数据中的缺失数据值；

对多维数据群的多维数据进行异常值处理的过程为：以缺省值替换多维数据中的异常值。

4.根据权利要求3所述的一种多维大数据分布式存储查询方法，其特征是：对标准多维数据进行数据抽稀的过程为：判断标准多维数据是否达到预设分辨率阈值，如果达到，则根据预设的数据抽稀规则，降低标准多维数据的分辨率，并存储若干个分辨率的副本。

5.根据权利要求4所述的一种多维大数据分布式存储查询方法，其特征是：所述数据抽稀规则为：设立a-b个级别，级别为N维数据立方体的维度的单位度量的倍数；设acb,则从c个单位度量对应的c个值中抽取一个抽稀值进行保存。

6.根据权利要求5所述的一种多维大数据分布式存储查询方法，其特征是：所述抽稀值为最大值、最小值或平均值。

7.根据权利要求6所述的一种多维大数据分布式存储查询方法，其特征是：对标准多维数据进行数据分片的过程为：设立d、e两个数据量级，d为单位存储空间存储标准多维数据的理想量级，设e为单位存储空间存储标准多维数据最大量级，其中de，e＝d*2^N，e为N维数据立方体的维度的单位度量的2的N次方，判断标准多维数据是否达到e，如果达到，则根据预设的数据分片规则，以d为单位进行分片。

8.根据权利要求7所述的一种多维大数据分布式存储查询方法，其特征是：所述数据分片规则为：确保存储的标准多维数据大小在理想量级至最大量级之间。

9.一种多维大数据分布式存储查询系统，其特征是：包括：

数据预处理模块：用于输入待存储多维数据群，对多维数据群进行预处理，使得多维数据群中的多维数据为标准多维数据；

N维数据立方体建模模块：用于对多维数据群定义维度和度量，建模得到N维数据立方体，并由标准多维数据组成N维数据立方体的维点；

数据抽稀模块：用于判断标准多维数据是否达到预设数据抽稀条件，如果达到则对标准多维数据进行数据抽稀；

数据分片模块：用于判断标准多维数据是否达到预设数据分片条件，如果达到则对标准多维数据进行数据分片；

分布式存储模块：用于对经过数据抽稀和数据分片的标准多维数据，进行分布式数据存储；

数据查询引擎模块，用于根据查询请求的查询需要，将查询请求拆分生成若干子请求，并异步发出所述子请求。

10.根据权利要求9所述的一种多维大数据分布式存储查询系统，其特征是：所述数据查询引擎，还用于封装数据的格点场景的数据操作语义转换，组织构建分布式存储能识别的数据操作请求，发布为数据操作接口能识别的标准数据接口。