[发明专利]一种分布式存储系统的后端框架及其协议实现方法

说明书

技术领域

本发明涉及一种分布式存储系统架构，尤其涉及一种利用HTTP接口和POSIX接口之间双向协议转换实现的后端框架结构及其协议实现方法。

背景技术

在分布式存储系统中后端服务器开发是一项复杂度极高的工作。其中POSIX（Portable Operating System Interface of Unix）定义了一系列可移植的操作系统接口，与文件系统相关的POSIX接口定义了一组源代码级别的API用以使应用程序可以以一致的方法操作文件。而一个支持POSIX接口的文件系统则提供了对应所有POSIX文件API的相应功能和语意的实现。

POSIX文件系统接口相当复杂，定义了多个文件操作，可以操作和控制文件的方方面面。通常，为了实现一个支持POSIX接口的网络文件系统，类似NFS或者CIFS，网络文件系统的客户端和服务器端之间的通信协议都需要参照POSIX相关语意定义对应的协议操作，导致协议设计和处理的复杂性相应提高，实现难度也相应提高。而实现一个稳定高效的网络服务器，也是需要大量的开发和调试工作。

发明内容

鉴于上述现有网络文件系统服务器的缺陷，本发明的目的是提出一种分布式存储系统的后端框架及其协议实现方法，解决分布式存储系统后端服务器的开发和运行效率问题。

本发明的上述一个目的将通过以下技术方案得以实现：一种分布式存储系统的后端框架，涉及客户端和服务器端，其特征在于：

所述客户端中用户程序与Linux内核VFS层交互编程API，且通过POSIX接口经POSIX协议转换处理为HTTP协议；

所述服务器端中HTTP协议通过POSIX协议转换处理恢复至POSIX接口，且通过文件系统服务器层与磁盘IO交互编程API；

所述客户端和服务器端通过Web服务器和HTTP协议通信互联。

本发明的上述另一个目的将通过以下技术方案得以实现：一种分布式存储系统的后端协议实现方法，涉及客户端和服务器端的请求收发，其特征在于：将网络文件系统服务器的逻辑部分作为Web服务器的一个模块运作，进行HTTP接口和POSIX接口之间双向协议转换。

进一步地，所述双向协议转换中使用HTTP头部的扩展tag标记来标记文件元数据相关的请求和变化，使用HTTP的Content段来进行文件数据内容的交换，对每个HTTP请求，由Web服务器进行消息通信和扩展Tag标记分析，由网络文件系统服务器的逻辑部分处理POSIX文件并形成回复消息。

更进一步地，其特征在于：所述POSIX文件的属性至少包括文件索引号、大小、所属用户、所属用户组、链接数、修改时间、创建时间、变化时间、访问时间、权限、类型、数据偏移量和数据长度，且各个属性分别以一一对应关系与扩展tag标记相关联。

进一步地，所述双向协议转换中语义转换方法包括文件路径为HTTP URL对应域，所有读请求使用HTTP GET方法，所有写请求使用HTTP PUT方法。

本发明技术方案应用于分布式存储系统，相对于现有技术其有益效果体现在：通过双向协议转换，可以极大地降低分布式文件系统后端服务器开发的复杂度。服务器开发可以完全基于现有成熟的WebServer做二次完全开发。这样在开发效率以及服务器稳定度等方面可以获得很大的提升和保障。

附图说明

图1是本发明云存储服务中租户数据容量统计的状态示意图。

图2是本发明云存储服务中后端协议的实现流程示意图。

具体实施方式

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

从本领域技术人员的一般认识，基于HTTP服务的Web服务器，则已有很多优秀的开源产品实现，类似httpd，ngnix等，并且经过了长时间大规模的实践的验证。所以，基于已有的Web服务器实现来实现网络文件系统的服务器端，是一个可靠并且经济的思路。但是Web服务器仅支持HTTP协议，而HTTP协议支持的方法很有限，仅有GET、PUT、DELETE等几个方法，语意相对比较简单。因此，为了在Web服务器上实现支持POSIX文件系统的网络文件系统，本申请设计并提出实现了一种在HTTP接口和POSIX接口之间双向转换的方法。

从本发明技术方案概述来看：其后端框架如图1所示，涉及客户端和服务器端。其中