[发明专利]基于Ceph对象存储元数据的管理及检索的实现方法

说明书

本发明公开了一种基于Ceph对象存储元数据的管理及检索的实现方法，包括：客户端发送写请求给对象存储系统；对象存储系统的对象存储网关收到写请求后，首先检查写请求的合法性和权限；对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务，推送对象存储元数据信息到分布式消息队列；分布式消息队列服务推送对象存储元数据信息至所有的消费者队列和检索队列；步各个消费者和检索服务从消费者队列或检索队列通过订阅消息的形式获取对象存储元数据信息；对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。实现对象存储元数据的高效管理和检索。

技术领域

本发明涉及对象存储功能支持领域，尤其涉及基于Ceph(一个统一的、分布式的的存储系统)对象存储元数据的管理及检索的实现方法。

背景技术

随着大数据、云计算等技术的发展，媒资、医疗、金融等各大行业对于海量数据的存储需求越来越迫切，传统的文件系统、块存储在面对海量数据的支撑时逐渐显得乏力。而扁平化数据组织的对象存储的优势逐渐显现，各大行业对于对象存储的应用越来越广发，因此逐步诞生了各种各样的对象存储扩展需求。

对象存储元数据是管理对象的核心，是描述数据的数据(data about data)，主要是描述数据属性(property)的信息，主要包括对象大小、创建时间、修改时间等系统元数据与自定义元数据。元数据能够从多个不同的维度去反馈数据的属性，元数据的管理与应用对于上层应用至关重要，尤其是对于大数据应用，高效的元数据检索能力，可以为大数据应用提供更强大的能力。另一方面，在提供元数据信息即可满足上层应用要求的情况下，单独的元数据检索服务明显可以提供更强的性能。

发明内容

本发明的目的在于提供一种基于Ceph对象存储元数据的管理及检索的实现方法，以实现对象存储元数据的管理及检索。

实现上述目的的技术方案是：

一种基于Ceph对象存储元数据的管理及检索的实现方法，包括：

步骤S1，客户端发送写请求给对象存储系统；

步骤S2，对象存储系统的对象存储网关收到写请求后，首先检查写请求的合法性和权限，通过后进入下一步骤；

步骤S3，对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务，推送对象存储元数据信息到分布式消息队列；

步骤S4，分布式消息队列服务推送对象存储元数据信息至所有的消费者队列和检索队列；

步骤S5，各个消费者和检索服务从消费者队列或检索队列通过订阅消息的形式获取对象存储元数据信息；

步骤S6，对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。

优选的，客户端通过RESTful API接口(基于HTTP协议的Web应用程序接口)发送写请求给对象存储系统。

优选的，客户端发送写请求给对象存储系统之前，对象存储网关初次启动时，初始化用于元数据同步的分布式消息队列，并初始化检索队列。

优选的，所述的异步任务指：从写请求的请求头中提取对象存储元数据信息，重新组合为json格式并发送到分布式消息队列。

优选的，步骤S5中，各个消费者从各自的消费者队列获取对象存储元数据信息，进行逻辑处理；

检索服务从检索队列获取对象存储元数据信息后，存入检索服务器的分布式检索数据库，进行逻辑处理。

优选的，步骤S5中，如果消息推送或消费者处理失败，记录针对元数据同步的日志并上报告警；同时提供单独的工具，在消费者队列、检索队列或消费者恢复正常时，该工具可以根据失败日志，同步失败的元数据信息到检索服务或各消费者。