[发明专利]一种基于HDFS集群的存储节点的转移方法及装置

说明书

本发明公开了一种基于HDFS集群的存储节点的转移方法及装置，该方法的步骤包括：通过监控节点获取集群中的存储节点的运行状态；根据运行状态判断存储节点是否出现故障；如果是，则获取集群中的非存储节点，并对非存储节点进行HDFS的相关配置以作为新的存储节点；其中，所有监控节点、存储节点以及非存储节点均启动yarn和Hbase。可见，当集群中的存储节点较少或集群中的存储节点大量发生故障时，能够在集群中补充新的存储节点进行工作，保障了HDFS集群中可用节点的数量不会发生较大改变，减轻了HDFS集群中各个节点的工作压力，进而保证了HDFS集群整体可用性以及整体的工作效率。此外，基于HDFS集群的存储节点的转移装置同样具有上述效果。

技术领域

本发明涉及HDFS分布式文件系统领域，特别是涉及一种基于HDFS集群的存储节点的转移方法及装置。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，进而能够充分利用集群的整体性进行高速运算和存储。而Hadoop的体系结构主要是通过HDFS分布式文件系统以实现数据的分布式存储，进而能够为Hadoop的一系列数据处理框架提供高效的数据支持。

由于HDFS分布式文件系统具有集群特性，所以当HDFS集群中的节点出现故障时，可以启用备用节点或者将故障节点的数据转移到HDFS集群的其它节点中，但是实现上述功能的前提时，启用的节点或数据转移的节点必须预先进行HDFS的相关配置。由于HDFS的工作性质，集群中故障节点中的数据会转移到集群中正常的节点中，因此，当集群中进行了HDFS相关配置的节点数量较少，或是HDFS集群中的节点出现大范围故障时，故障节点向其它正常节点转移数据会增大集群整体的工作压力，并且降低HDFS集群的工作效率，进而会降低HDFS集群的可用性。

由此可见，提供一种基于HDFS集群的存储节点的转移方法，以保证HDFS集群的工作效率，提高HDFS集群的可用性，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于HDFS集群的存储节点的转移方法及装置，保证HDFS集群的工作效率，提高HDFS集群的可用性。

为解决上述技术问题，本发明提供一种基于HDFS集群的存储节点的转移方法，包括：

通过监控节点获取集群中的存储节点的运行状态；

根据运行状态判断存储节点是否出现故障；

如果是，则获取集群中的非存储节点，并对非存储节点进行HDFS的相关配置以作为新的存储节点；

其中，所有监控节点、存储节点以及非存储节点均启动yarn和Hbase。

优选的，该方法进一步包括：

增加新的非存储节点，配置并记录新的非存储节点的地址信息。

优选的，获取集群中非存储节点具体为：

根据所记录的非存储节点的地址信息获取集群中非存储节点。

优选的，地址信息具体包括hostname以及IP地址。

优选的，在对非存储节点进行HDFS的相关配置以作为新的存储节点后，该方法进一步包括：

启用新的监控节点用于监控新的存储节点。

优选的，对非存储节点进行HDFS的相关配置具体为：

对非存储节点进行与存储节点相同的HDFS的相关配置。

优选的，存储节点具体包括：

主存储节点以及从属存储节点。