[发明专利]分布式存储系统和管理方法

说明书

本发明提供一种分布式存储系统及其管理方法，能够高效地进行分布式存储系统中的多个服务器之间的数据的重新平衡。在包括多个分布式FS服务器(2)、分布式卷(100)和管理服务器(5)的分布式存储系统(0)中，分布式卷(100)由多个LU(200)构成，管理各个LU的分布式FS服务器(2)是事先决定，存储文件的LU是基于文件的哈希值决定的，由管理所决定的LU的分布式FS服务器(2)进行对分布式卷(100)的文件的I/O处理，在变更管理LU的分布式FS服务器(2)时，使管理服务器(5)的CPU将变更后的LU与管理LU的分布式FS服务器(2)的对应关系反映到分布式FS服务器(2)中。

技术领域

本发明涉及在由多个服务器构成的分布式存储系统中，多个服务器之间的数据的重新平衡技术。

背景技术

作为用于AI(Artificial Intelligence：人工智能)/大数据分析的大容量数据的保存目的地，能够廉价地扩展容量/性能的向外扩展(scale out)型的分布式存储系统正在普及。

在用作大量用户或服务的后端的面向数据湖存储装置中，要求在性能或容量不足时向外扩展、为了节能而在资源剩余时向内扩展(scale in)。

另一方面，随着保存在存储器中的数据的增加，每个节点(服务器)的保存数据容量也增加，服务器增设或减设时的数据重新平衡时间变得很长，对来自客户端的访问性能的影响成为问题。

例如，在专利文献1中公开了如下技术：在由大量服务器构成的分布式存储装置中，根据数据的哈希值动态地计算数据保存位置，由此不需要数据访问时的元数据服务器访问。根据专利文献1的技术，由于元数据服务器的性能瓶颈消失，所以能够实现与服务器台数成比例的性能可扩展性。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2016/0349993号说明书

发明内容

发明要解决的课题

如专利文献1所公开的技术那样，在使用数据的哈希值来分布式地配置数据的分布式文件系统中，根据数据的识别符使用哈希函数来计算哈希值，决定数据保存位置以使得在服务器之间数据量均匀。在此，哈希函数表示对于1个以上的输入将随机的值作为哈希值输出的函数。因此，在服务器结构因服务器的增设减设等而改变的了情况下，保存在各服务器中的数据的哈希值的范围也改变，需要服务器间的数据的重新平衡。

像这样，当保存在各服务器中的数据的哈希值的范围因服务器的增设减设而改变了的情况下，发生大量的数据迁移。成为迁移对象的数据量虽然取决于哈希计算方式，但最低服务器1台以上的数据成为服务器间的迁移对象。由于近年来的设备大容量化，每1台服务器的数据容量正在大容量化，数据迁移需要几天至几周。

另外，在服务器间的数据迁移中，需要经由网络的服务器间的数据传输。在分布式文件系统中，由于在来自客户端的数据访问处理和重新平衡处理中共用网络资源，所以对客户端的访问性能的影响成为问题。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够高效地进行分布式存储系统中的多个服务器之间的数据的重新平衡的技术。

用于解决课题的技术方案

为了达成上述目的，一个观点的分布式存储系统包括多个分布式服务器、能够由多个分布式服务器访问的共享区域和管理装置，所述共享区域由多个逻辑单位区域构成，管理各个逻辑单位区域的分布式服务器是事先决定的，要保存所述数据单位的逻辑单位区域是基于关于数据单位的哈希值决定的，由管理所决定的逻辑单位区域的分布式服务器进行对所述共享区域的所述数据单位的I/O处理，所述管理装置的处理器在变更管理所述逻辑单位区域的分布式服务器时，使变更后的逻辑单位区域与管理所述逻辑单位区域的分布式服务器的对应关系反映到所述分布式服务器。

发明效果