[发明专利]一种网络异常节点的隔离方法及系统

说明书

本发明涉及网络异常节点隔离技术领域，提供了一种网络异常节点的隔离方法，包括：接入端隔离，对于通过NVMF协议接入的客户端，提供了一种虚拟卷节点白名单和节点ANA优先级的动态生成算法，通过该算法尽可能减少节点被隔离后对客户端造成的影响。存储端隔离，对异常节点上副本的写入延迟与正常副本的差异进行比较，综合虚拟卷负载、集群健康状态信息，判断是否需要在以后的虚拟卷的写入流程中，屏蔽异常节点上的副本，并把异常节点上的副本迁移到正常节点，保证虚拟卷的副本数足够，解决节点进入隔离池之后，已有副本访问缓慢的问题，也避免一些隔离手段中可能会导致的大量无效副本的迁移。隔离节点恢复，当隔离节点的网络异常被修复后，解除隔离。

技术领域

本发明涉及网络异常节点隔离的技术领域，具体为应用于分布式存储系统中的一种网络异常节点的隔离方法及系统。

背景技术

分布式存储系统是一种将多台服务器上的存储资源进行整合及池化的系统，用户可以根据自身需求，动态的从分布式存储系统中分配、归还存储资源。用户的数据会分散到多个节点和存储设备上并冗余存储，使用户获得一个高性能、高可用性的虚拟存储设备。

分布式存储系统的功能通常可以划分为接入层和存储层，接入层通过NVMF、iSCSI、NFS等接入层协议，将虚拟卷设备暴露给用户使用，并负责处理用户通过接入层协议发来的IO。存储层则负责节点间的通信和物理存储设备的池化，实现数据的副本、一致性、快照等。

分布式存储系统对节点间的网络健康度有较高的要求，节点的网络异常可能会导致虚拟机的IO性能受损、延迟增加，严重影响用户体验。但是数据中心的网络异常不可避免，错误的网络配置，交换机、网线、网卡故障等，都有可能导致节点间网络通信异常。较为常见的一种网络异常是个别节点的异常，表现为异常节点与其他节点通信丢包率高，但是健康节点间通信则是正常的。在一般的分布式存储系统中，若集群中出现网络异常节点，影响范围会比较大。一方面，基于NVMF、iSCSI等协议接入的客户端会由于接入点异常而出现IO延迟升高甚至失败；另一方面，如果该节点保存了用户数据的副本，通过其他接入点使用存储系统的客户端在访问虚拟卷副本的数据时，IO质量也会受到该节点网络异常的影响。

目前业界针对部分节点网络异常的处理通常分为识别和隔离两部分。识别指通过节点间的周期性嗅探、或是统计客户端访问各节点的失败率延迟等数据，挑选出集群中处于异常状态的节点。隔离则是将识别出异常节点排出集群的可服务节点列表，放入隔离池中，尽量避免用户的IO被异常节点服务。本专利聚焦于网络异常节点的隔离。

目前业界其他分布式存储系统对异常节点使用的隔离方法如下：

对于接入层，通常采用把连接到异常节点上的客户端全部断开，再重定向到正常节点上的方式，来避免客户端受到异常节点的影响。这种方式带来的IO抖动非常大。

对于存储层，通常会让处于隔离池中的节点不再用于副本存储。系统通常通过限制存储池中节点数占总数的比例，来保证集群的可用性。但是目前已知的方法中，只是避免新的数据副本被放入隔离池中的节点，若客户端要访问的数据已经存在于隔离池中的节点，则依然会受到影响。也有分布式存储系统会将被隔离节点上的数据全部迁移到健康节点上，这个会导致集群可用空间的下降，且大量迁移操作会耗费较多的时间和带宽，对用户影响比较大。迁移过程也可能依然需要异常节点的参与，迁移的成功率不高。

现有的网络异常节点隔离的手段存在的主要问题是：

(1)将异常节点上接入的客户端直接断开会对用户产生较大影响，接入端链接被断开后，客户端需要经历断链感知、重新获取新接入点、重连并重放IO等几个步骤才可以完全恢复。