[发明专利]面向巨量遥感数据的分布式存储方法、装置及介质

说明书

本发明公开了一种面向巨量遥感数据的分布式存储方法、装置及介质，属于分布式存储领域。本发明通过对巨量遥感数据元数据的数据划分规则进行优化，以包含多个空间要素的数据块作为分片的单位，实现了不同分片节点中遥感数据所需计算量的相对均衡，兼顾巨量遥感数据的分布式存储以及后续遥感数据的海量计算需求。本发明可以提升分布式引擎的稳定性和负载均衡性，对全球综合观测成果的应用具有重大意义。

技术领域

本发明属于分布式存储技术领域，具体涉及一种面向巨量遥感数据的分布式存储方法、装置及介质。

背景技术

遥感数据通常以栅格、矢量等格式进行存储，栅格数据的模型较为简单，但数据量大，因此现有关于栅格数据的研究大多集中于栅格数据的存储和管理。在巨量遥感数据的存储方面，国内外专家学者、研究机构以及商业公司已经开展了许多相关工作。现有的遥感数据存储方式可以主要分为以下五类：基于集中式文件系统的遥感数据存储、基于数据库的遥感数据存储、网络存储、基于分布式文件系统的文件存储和基于分布式数据库的遥感数据存储。

基于集中式文件系统的数据存储指遥感数据集中存储于单个服务器上，利用文件系统对遥感数据的文件本体进行存储和管理，集中式文件存储的存储容量和性能几乎完全取决于单台服务器，对硬件性能具有强依赖性，不仅难以提供高读取速度，利用硬件进行数据运算也很困难。

通过将关系数据库和地学数据中间件相结合的方式，可以支持大尺寸遥感数据的存储，然而，利用数据库进行遥感数据存储也存在一些问题，例如关系型数据库对单体大文件的支持有限，对于非结构化数据的存储也有很多限制，在数据量上升的情况下性能会有较大幅度的下降。

为了解决单台存储设备容量极限的问题，可以通过扩展节点来提升整体的存储集群容量。通过网络对单个节点进行横向串联可以整合一些容量相对较小的节点，成为大型的中心化管理的数据存储服务器。然而，由于单个节点的情况各异，难以对所有节点进行集中管理和维护。

分布式文件系统是指经过网络架构，将空间和物理分散的大量计算节点或者存储节点通过逻辑关系关联在一起，形成一种物理分散、逻辑统一、数据通过网络流动的存储关系。但其数据检索不根据遥感数据特点定制，数据访问延迟会随数据存储量的增长而增加，从而导致整体运行速率的下降。

分布式数据库架构是一种通过将关系型数据库技术与空间数据中间件相结合，对外提供统一存取接口的空间数据存储形式。然而，由于所有的服务请求都需要经过网络服务器进行处理和二次转发，代理服务器很容易因为过多的网络请求而产生阻塞，从而成为整个系统的性能瓶颈。

另外，传统的分布式存储技术仅仅考虑存储和访问的需求，因此其存储时的分片机制主要是针对文件大小负载均衡为基准的。但是对于遥感数据而言，往往还涉及到大量的计算需求，而遥感数据的计算量与文件大小并不存在关联性，由此导致分布式存储的遥感数据在计算过程中出现计算资源的不均衡，导致额外的性能瓶颈。

因此，本发明提出了一种面向巨量遥感数据的分布式高效存储方法，构建满足巨量遥感数据组织与计算需求的存储方法。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种面向巨量遥感数据的分布式存储方法、装置及介质。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种面向巨量遥感数据的分布式存储方法，其包括：

S1、分布式数据库集群中的路由节点收到客户端提交的遥感数据写入请求后，读取写入请求中涉及的所有空间要素组成空间要素集；

S2、统计所述空间要素集中所有空间要素的地物面积总大小，并根据预设的数据块总数，计算所述地物面积总大小与所述数据块总数的比值，作为每个数据块的分配面积阈值；