[发明专利]一种分布式存储系统的数据迁移方法、设备和系统

说明书

技术领域

本申请涉及通信技术领域，尤其涉及一种分布式存储系统的数据迁移方法、设备和系统

背景技术

在分布式存储系统(即将数据分散存储在多台独立的存储服务器上)中，当数据存储需求达到实际物理存储容量时，分布式存储系统需要进行物理扩容才能满足需求，物理扩容通常的做法是在存储集群中加入新的存储服务器。

现有技术中，实现分布式存储系统扩容的方式包括：

(1)通过对存储服务器进行停机维护的方式实现分布式存储系统扩容，该方式下会影响分布式存储系统的可用性。

(2)通过HDFS(Hadoop Distributed File System，分布式文件系统)的方式实现分布式存储系统扩容，如图1所示的系统架构示意图，该方式下，利用NameNode(名称服务器)提供存储管理及访问检索服务；在需要扩容时，对数据进行迁移，修改Namenode的索引记录(即迁移后的数据索引到新的存储服务器上)；当应用程序需要访问数据时，首先访问Namenode，利用索引记录获得数据存储的物理位置，然后通过该物理位置访问存储服务器上的数据。

(3)通过当前提出的分布式缓存的实现方法及装置实现分布式存储系统扩容，如图2所示的系统架构示意图，该方式下，通过使用路由器和代理模块配合的方法实现数据迁移，该系统包括：多个代理服务模块Proxy、路由器Router、缓存服务节点群CacheServer(包括多个缓存服务器节点)、数据存储服务模块DB Accessed以及存储介质。

Proxy用于接收业务应用的数据操作请求，并根据Router中所配置的路由表将数据操作请求分配到相应的CacheServer上进行操作；Router用于配置缓存数据和各CacheServer之间的对应关系表，通过该对应关系表可以得知缓存数据应该存储在哪个CacheServer中；CacheServer是数据查询和存储的核心，负责通过自身将数据从内存中查询得到或保存数据到内存中；DB Accessed用于将未回写数据写入到存储介质中，存储介质可以是数据库或文件等。

基于上述系统架构，在需要进行缓存数据迁移时，如业务1的缓存服务节点1向缓存服务节点2迁移数据，则如图3所示的迁移时序图；Router向缓存服务节点2发送迁移某号段的请求，缓存服务节点2返回准备完成；Router发送开始迁移请求到缓存服务节点1；缓存服务节点1按顺序将该号段的数据同步到缓存服务节点2；缓存服务节点1向Router返回迁移完成的消息；Router更改相应缓存数据、缓存服务节点1、缓存服务节点2之间的配置关系，完成路由配置消息的更改，并通知各个相关服务，完成数据迁移过程。

在实现本申请的过程中，发明人发现现有技术中至少存在以下问题：

上述方式(1)中，由于会影响分布式存储系统的可用性，即导致分布式存储系统不可用，因此在实际应用中，特别是大型互联网系统中很少使用。

上述方式(2)是目前主流的分布式存储架构，但是其依赖于Namenode，每次读写访问均需要访问Namenode，增加了开销，且降低了性能；在Namenode发生故障时，则会引起整个分布式存储系统不可用；进一步的，如果Namenode采用高可用分布式方案，则会使分布式存储系统更加复杂。

上述方式(3)中，需要增加代理层进行路由选择，影响了系统性能；而且迁移数据时需要修改存储数据和存储节点的配置关系，逻辑复杂，并可能造成负载不均衡。

发明内容

本申请实施例提供一种分布式存储系统的数据迁移方法、设备和系统，以在数据迁移过程中提高系统性能。

为了达到上述目的，本申请实施例提供一种分布式存储系统的数据迁移方法，应用于包括客户端、数据管理服务器、源存储服务器、目标存储服务器的分布式存储系统中，在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后，该方法包括以下步骤：

所述源存储服务器接收来自所述客户端的需要写入的数据；

当所述源存储服务器根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时，所述源存储服务器将所述数据写入到所述目标存储服务器。

另一方面，本申请实施例提供一种存储服务器，作为源存储服务器应用于包括客户端、数据管理服务器、所述源存储服务器、目标存储服务器的分布式存储系统中，在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后，该存储服务器包括：

接收模块，用于接收来自所述客户端的需要写入的数据；