[发明专利]一种Hadoop对象存储高可用方法、系统、装置及可读存储介质

说明书

本申请公开了一种Hadoop对象存储高可用方法、系统、装置及计算机可读存储介质，应用于AS13000存储集群，包括：判断存储集群中与客户端连接的当前物理IP对应的当前存储节点是否发生故障；若是，则断开客户端与当前物理IP对应的当前虚拟IP的连接，建立客户端与备用虚拟IP的连接；其中，备用虚拟IP与存储集群中的备用物理IP对应，备用物理IP与存储集群中的备用存储节点对应；本申请预先建立与存储集群中所有存储节点的物理IP对应的虚拟IP，一旦当前物理IP出现故障，可以进行虚拟IP漂移，重新建立客户端与备用虚拟IP的连接，使得客户端能够通过备用虚拟IP和备用物理IP继续访问存储集群，避免了客户端与存储集群的连接中断无法恢复的问题，提高了Hadoop的可用性。

技术领域

本发明涉及分布式文件系统领域，特别涉及一种Hadoop对象存储高可用方法、系统、装置及计算机可读存储介质。

背景技术

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS；HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序；HDFS放宽了POSIX(PortableOperating System Interface of UNIX，可移植操作系统接口)的要求，可以以流的形式访问文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和Hbase；HDFS为海量的数据提供了存储，而Hbase是分布式非结构数据库；现有技术中，在对接系统中，存在HDFS存储单点故障和Hbase单点故障。

为保证Hadoop系统的正常高效运行，需要提高可用性。

发明内容

有鉴于此，本发明的目的在于提供一种Hadoop对象存储高可用方法、系统、装置及计算机可读存储介质，提高可用性。其具体方案如下：

一种Hadoop对象存储高可用方法，应用于AS13000存储集群，包括：

判断存储集群中与客户端连接的当前物理IP对应的当前存储节点是否发生故障；

若是，则断开所述客户端与当前物理IP对应的当前虚拟IP的连接，建立所述客户端与备用虚拟IP的连接；

其中，备用虚拟IP与所述存储集群中的备用物理IP对应，备用物理IP与所述存储集群中的备用存储节点对应。

可选的，所述建立所述客户端与备用虚拟IP的连接的过程，包括：

利用虚拟IP偏移规则，选择虚拟IP集中的一个虚拟IP作为备用虚拟IP；

建立所述客户端与备用虚拟IP的连接；

其中，所述虚拟IP偏移规则为预先建立的备用虚拟IP选择规则，所述虚拟IP集包括多个预先利用CTDB建立的与所述存储集群中每个存储节点的物理IP一一对应的虚拟IP。

可选的，还包括：

当MON地址出现异常，则切换至预先生成的备用MON地址。

可选的，还包括：

当Hbase中的Hmaster主节点故障，则切换至预先建立的Hbase中的备用Hmaster节点；

其中，备用Hmaster节点与所述Hmaster主节点之间定时更新，以确保备用Hmaster节点与所述Hmaster主节点之间数据同步。

本发明还公开了一种Hadoop对象存储高可用系统，应用于AS13000存储集群，包括：

故障判断模块，用于判断存储集群中与客户端连接的当前物理IP对应的当前存储节点是否发生故障；