[发明专利]一种多维大数据分布式存储查询方法和系统

说明书

本发明涉及数据分布式存储领域，公开了一种多维大数据分布式存储查询方法和系统，其技术方案要点是包括如下步骤：输入待存储的多维数据群，对多维数据群进行预处理，使得多维数据群中的多维数据转化为标准多维数据；对多维数据群定义维度和度量，建模得到N维数据立方体，并由标准多维数据组成N维数据立方体的维点；判断标准多维数据是否达到预设数据抽稀条件，如果达到则对标准多维数据进行数据抽稀；判断标准多维数据是否达到预设数据分片条件，如果达到则对标准多维数据进行数据分片；基于经过数据抽稀和数据分片的标准多维数据，根据N维数据立方体的维度进行分布式数据存储。

技术领域

本发明涉及数据分布式存储领域，更具体地说，它涉及一种多维大数据分布式存储查询方法和系统。

背景技术

气象业务时效性要求高，需要在短时间内从海量观测、预报数据中获取有价值的信息，气象数据是一类典型的多维大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到上百TB的规模，且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题。

传统存储方案常常采用关系型数据库加文件系统的方式(如Oracle+磁盘阵列)实现这类气象数据的存储和实时查询，这种方案在可扩展性、可维护性和性能上都有一些缺陷，随着数据规模的增大，缺点越来越明显。

传统存储方案在规模、性能和应用服务的针对性方面都满足不了日益增长的应用要求。在规模上，其传统的IOE架构决定了其在资源的横向扩展上天生有缺陷，一方面，长时间序列的历史数据不能完全在线存储和服务，有些常用的数据还要基于归档数据进行回取服务，如雷达、卫星、数值预报等；另一方面，对于海量爆发的数据资源，更缺乏存储的能力。在性能上，以Oracle和盘阵为主的集中式存储，只能提供秒级到分钟级的访问服务，无法适应大数据应用分析需要的毫秒级到秒级的访问服务需求。

因此要设计一种新的存储方法来支持超大规模的数据存储需求。

发明内容

本发明的目的是提供一种多维大数据分布式存储查询方法和系统，能够对多维大数据进行分布式存储，能够实现高效查询，满足对于超大数据群的存储和查询需要。

本发明的上述技术目的是通过以下技术方案得以实现的：一种多维大数据分布式存储查询方法，包括如下步骤：

输入待存储的多维数据群，对多维数据群进行预处理，使得多维数据群中的多维数据转化为标准多维数据；

对多维数据群定义维度和度量，建模得到N维数据立方体，并由标准多维数据组成N维数据立方体的维点；

判断标准多维数据是否达到预设数据抽稀条件，如果达到则对标准多维数据进行数据抽稀；

判断标准多维数据是否达到预设数据分片条件，如果达到则对标准多维数据进行数据分片；

基于经过数据抽稀和数据分片的标准多维数据，根据N维数据立方体的维度进行分布式数据存储。

作为本发明的一种优选技术方案，所述对多维数据群进行预处理的方式，包括对多维数据群的多维数据进行数据规整和异常值处理。

作为本发明的一种优选技术方案，对多维数据群的多维数据进行数据规整的过程为：以缺省值补全多维数据中的缺失数据值；

对多维数据群的多维数据进行异常值处理的过程为：以缺省值替换多维数据中的异常值。

作为本发明的一种优选技术方案，对标准多维数据进行数据抽稀的过程为：判断标准多维数据是否达到预设分辨率阈值，如果达到，则根据预设的数据抽稀规则，降低标准多维数据的分辨率，并存储若干个分辨率的副本。