[发明专利]结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法在审
| 申请号: | 202010126255.8 | 申请日: | 2020-02-26 |
| 公开(公告)号: | CN113312345A | 公开(公告)日: | 2021-08-27 |
| 发明(设计)人: | 肖敏;胡风华;毕俊;王千一;林瑞峰;武枫 | 申请(专利权)人: | 中科星图股份有限公司 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06F16/2458 |
| 代理公司: | 北京华专卓海知识产权代理事务所(普通合伙) 11664 | 代理人: | 张继鑫 |
| 地址: | 101399 北京市顺义区临空经济核*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 结合 kubernetes ceph 遥感 数据 存储系统 存储 检索 方法 | ||
1.一种结合Kubernetes和Ceph的遥感数据存储系统,其特征在于,包括交互层、服务层、数据缓存层和数据存储层;其中,
所述交互层用于与客户端进行交互,接收客户端上传的遥感数据和/或根据用户的遥感数据查询请求提供对应的遥感数据;所述遥感数据包括元数据文件和影像文件;
所述服务层用于为客户端上传的遥感数据生成队列并通过数据缓存层分发到数据存储层;和/或根据客户端查询请求在数据缓存层及数据存储层中查询对应的遥感数据;
所述数据缓存层用于缓存所述遥感数据;
所述数据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式存储系统中存储所述影像文件。
2.根据权利要求1所述的系统,其特征在于,
所述交互层、所述服务层和所述数据缓存层部署于Kubernetes集群的master节点中;
所述数据存储层部署于Kubernetes集群的worker节点中。
3.根据权利要求2所述的系统,其特征在于,
所述MongoDB数据库和所述Ceph分布式存储系统分别部署于Kubernetes集群的worker节点中。
4.根据权利要求2所述的方法,其特征在于,所述服务层包括消息队列模块、任务调度模块、遥感元数据解析模块、数据库操作模块和存储操作模块。
5.根据权利要求4所述的方法,其特征在于,所述任务调度模块用于根据一致性哈希算法,建立队列数据与worker节点之间的映射关系。
6.一种结合Kubernetes和Ceph的遥感数据存储方法,应用于如权利要求1-5所述的存储系统,其特征在于,包括:
交互层接收客户端通过PUSH方式定义的通用接口提交的遥感数据;所述遥感数据包括元数据文件和影像文件;
服务层为所述遥感数据生成队列数据并通过数据缓存层分发到数据存储层;所述队列数据包括元数据文件队列数据和影像文件队列数据;
数据缓存层将队列数据缓存在内存型缓存中;
数据存储层将所述元数据文件队列数据存储到MongoDB数据库,将所述影像队列数据存储到Ceph分布式存储系统中。
7.一种结合Kubernetes和Ceph的遥感数据查询方法,应用于如权利要求1-5所述的存储系统,其特征在于,包括:
交互层接收客户端通过PULL方式定义的通用接口提交的数据检索请求;
服务层接收所述数据检索请求,向缓存层查询所述数据;
缓存层根据所述查询请求中给定的键值查询缓存层的内存中是否包含请求所需数据信息;若命中缓存,则将对应的元数据文件或影像文件信息返回给客户端;
若未命中,在数据存储层的MongoDB的分布式存储系统和基于Ceph的分布式存储系统中查询所述数据,将获取的所需数据信息返回给客户端。
8.根据权利要求7所述的方法,其特征在于,将获取的所需数据信息返回给客户端包括:
将获取的所需数据信息通过服务层及交互层返回对应的元数据文件或影像文件信息给客户端,并回写至缓存层的内存中。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求6~8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求6~8中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科星图股份有限公司,未经中科星图股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010126255.8/1.html,转载请声明来源钻瓜专利网。





