[发明专利]结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法

说明书

本公开的实施例提供了结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法。所述存储系统包括交互层用于与客户端进行交互，接收客户端上传的遥感数据和/或根据用户的遥感数据查询请求提供对应的遥感数据；所述遥感数据包括元数据文件和影像文件；服务层用于为客户端上传的遥感数据生成队列并通过数据缓存层分发到数据存储层；和/或根据客户端查询请求在数据缓存层及数据存储层中查询对应的遥感数据；数据缓存层用于缓存所述遥感数据；数据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式存储系统中存储所述影像文件。以此方式，实现了海量遥感数据的高效存储，共享和备份。

技术领域

本公开的实施例一般涉及存储技术领域，并且更具体地，涉及结合Kubernetes和Ceph的遥感数据存储及检索方法、装置、设备和计算机可读存储介质。

背景技术

随着遥感数据获取能力的日益增强，仅单颗卫星每日获取数据量就以TB级计算，且这些大数据具有空间结构化特性，即为空间数据。空间数据本身具有高密度价值，每一个数据单元都与空间位置关联，反映一定的空间属性。

早期空间数据存储与管理方法是基于关系型数据库建立的极为有效的异构空间数据存储管理体系，但由于关系型数据库对数据的高一致性要求，使其底层存储的可扩展性较弱，存在数据切分与合并难的问题。传统的关系型数据模型和数据组织结构，只是在概念和逻辑层面实现数据组织的完整性，包括序列快照模型、基图修正模型、空间-时间组合体模型和空间-时间立方体模型等，并没有考虑遥感影像数据的存取权重，而且物理实现统一采用本地磁盘存储，导致磁盘I/O成为数据库调度性能的瓶颈，极大地增加了磁盘I/O负荷和数据调度时间。并且存储成本高、扩展性差，数据共享存在瓶颈，对数据安全的控制粒度不够、在线查询缓慢、下载耗时受并发数量影响大。

后期空间数据存储与管理方法优化为使用NoSQL、列存储等类型的数据库，底层通过分布式文件系统实现存储的容错性和可扩展性，且为了解决数据一致性以及空间索引问题，一方面索引被放到大内存或被拆成大量小的索引存储，另一方面采用大量计算节点进行分布式索引计算；但适用的计算模式较为局限。

发明内容

根据本公开的实施例，提供了一种结合Kubernetes和Ceph的遥感数据存储方案。

在本公开的第一方面，提供了一种结合Kubernetes和Ceph的遥感数据存储系统。该系统包括交互层、服务层、数据缓存层和数据存储层；其中，所述交互层用于与客户端进行交互，接收客户端上传的遥感数据和/或根据用户的遥感数据查询请求提供对应的遥感数据；所述遥感数据包括元数据文件和影像文件；所述服务层用于为客户端上传的遥感数据生成队列并通过数据缓存层分发到数据存储层；和/或根据客户端查询请求在数据缓存层及数据存储层中查询对应的遥感数据；所述数据缓存层用于缓存所述遥感数据；所述数据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式存储系统中存储所述影像文件。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述交互层、所述服务层和所述数据缓存层部署于Kubernetes集群的master节点中；所述数据存储层部署于Kubernetes集群的worker节点中。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述MongoDB数据库和所述Ceph分布式存储系统分别部署于Kubernetes集群的worker节点中。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述服务层包括消息队列模块、任务调度模块、遥感元数据解析模块、数据库操作模块和存储操作模块。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务调度模块用于根据一致性哈希算法，建立队列数据与worker节点之间的映射关系。