[发明专利]分布式存储系统和方法

说明书

技术领域

本发明涉及一种存储系统和方法，具体涉及一种分布式存储系统和方法。

背景技术

随着互联网的发展和用户宽带接入的普及，一些大型网站开始为个人用户提供数据存储功能。普通用户只要接入互联网便可以将自己的数码照片、数据文件等信息存放到此类系统中，也可以在任意时刻任意接入互联网的地点从该系统中获取已存入的文件信息。该系统给普通用户提供极大便利的同时，也对系统的设计提出了更高的要求，该系统必须要能支撑海量数据文件进行高速读写且有一定容灾能力。当前专业存储产品SAN、NAS等由于成本较高，并不适用于互联网的应用。因此我们需要设计更为适用的分布式存储系统来支撑用户的需求。当前云计算时代已经到来，通过软件程序将成百上千台PC服务器组成一个分布式系统的技术已经可行。

发明内容

本发明的目的是提供一种分布式存储系统和方法，它基于Linux操作系统，采用高效的TCP/IP网络互联技术，将数百台服务器连接起来，组成一个统一的能够支撑海量数据存储的分布式系统。

本发明分布式存储系统和方法的目的是通过以下技术方案实现的：一种分布式存储系统和方法，包括客户端访问接口、管理服务器及文件删除控制器；还包括元数据服务器集群A、元数据服务器集群B、数据存储服务器集群A、数据存储服务器集群B、数据库服务器集群A及数据库服务器集群B。

所述的客户端访问接口分别与元数据服务器集群A、元数据服务器集群B、数据存储服务器集群A及数据存储服务器集群B连接；所述的客户端访问接口包括写接口、读接口及删除接口。

所述的管理服务器分别与元数据服务器集群A及元数据服务器集群B连接；所述的管理服务器还包括管理数据库。

所述的文件删除控制器分别与数据存储服务器集群A、数据存储服务器集群B及数据库服务器集群B连接。

所述的元数据服务器集群A及元数据服务器集群B通过TCP协议连接，相互检测对方状态；数据存储服务器集群A及数据存储服务器集群B通过TCP协议互连，相互备份文件数据；数据库服务器集群A及数据库服务器集群B通过TCP协议相连，数据从数据库服务器集群A备份到数据库服务器集群B。

所述的元数据服务器集群A及元数据服务器集群B分别与数据存储服务器集群A及数据存储服务器集群B两两连接。

所述的元数据服务器集群A、元数据服务器集群B分别与数据库服务器集群A及数据库服务器集群B两两连接。

上述的分布式存储系统和方法，其中，所述的元数据服务器集群A、元数据服务器集群B、数据存储服务器集群A及数据存储服务器集群B是由一个或多个同一类型的服务器组成的服务器集群；数据库服务器集群A及数据库服务器集群B是由一个或多个同一类型的数据库服务器组成的数据库服务器集群；所述的元数据服务器集群B、数据存储服务器集群B及数据库服务器集群B分别是元数据服务器集群A、数据存储服务器集群A及数据库服务器集群A的数据备份服务器。

上述的分布式存储系统和方法，其中，该方法包括分布式存储系统的写数据的方法、分布式存储系统的读数据的方法、分布式存储系统的删除数据的方法、分布式存储系统的数据自动修复的方法及分布式存储系统的数据迁移的方法。

上述的分布式存储系统和方法，其中，所述的分布式存储系统的写数据的方法至少包括以下步骤：

步骤1，调用者调用客户端访问接口的写接口。

步骤2，客户端访问接口的写接口尝试连接最优的元数据服务器，如果成功则进入步骤4，否则进入步骤3。

步骤3，客户端访问接口的写接口尝试连接在另一个互备的元数据服务器，如果成功则进入步骤4，否则出错，并跳到步骤13。

步骤4，客户端访问接口向元数据服务器发送创建文件的指令，并将数据的大小等信息发送给元数据服务器。

步骤5，元数据服务器生成文件名，并将新创建的文件信息连同文件名一起存入数据库集群A，如果出错则跳到步骤11，否则进入步骤6。

步骤6，元数据服务器从数据存储服务器集群A和数据存储服务器集群B中挑选出两个服务器进行文件的存储，如果无法挑选出两台服务器，则跳到步骤11，否则进入步骤7。

步骤7，元数据服务器挑选出的两台数据存储服务器，并发送信号，命令选出的两台数据存储服务器进入待写状态。

步骤8，元数据服务器返回给客户端成功消息，并将数据存储服务器列表及新创建的文件名一并返回。

步骤9，客户端访问接口根据网络情况从两台数据存储服务器中选出最优的一台服务器，将文件数据发送给最优数据存储服务器，下称其为数据存储服务器A，另一台称数据存储服务器B。