[发明专利]一种hadoop集群搭建磁盘乱序的解决方法

说明书

技术领域

本发明属于云计算技术领域，具体涉及一种hadoop集群搭建磁盘乱序的解决方法。

背景技术

目前，hadoop基于其强劲优势，得到了业界众多公司的青睐和大力支持，已经在互联网领域遍地开花。有公司用hadoop支持广告系统和Web搜索的研究；有公司用hadoop支持其数据分析和机器学习；有公司用Hadoop进行搜索日志的分析和网页数据的挖掘工作；也有公司用Hadoop系统存储并处理电子商务交易的相关数据。随着计算机技术和通信技术的发展和融合，Hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域拓展。

Hadoop框架中最核心的设计就是：MapReduce和HDFS。Hadoop的架构如图1所示。

Hadoop环境架设好后，每次重起机器，会出现磁盘盘符的乱序。比如，机器重起前挂载的顺序是：

/hdfs/data1->sda1；

/hdfs/data2->sdb1;

/hdfs/data3->sdc1;

/hdfs/data4->sdd1;    ......

机器重起后挂载的顺序是：

/hdfs/data1->sdd1；

/hdfs/data2->sda1;

/hdfs/data3->sdb1;

/hdfs/data4->sda1;    ......

从而导致DataNode无法起来。

发明内容

为了克服上述现有技术的不足，本发明提供一种hadoop集群搭建磁盘乱序的解决方法，通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象。

为了实现上述发明目的，本发明采取如下技术方案：

一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括：

步骤1：查询磁盘设备的UUID；

步骤2：修改/etc/fstab文件；

步骤3：将磁盘挂载。

所述步骤1中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID。

所述步骤2中，修改/etc/fstab文件，通过VIM命令，在/etc/fstab文件的末尾加入UUID的相关信息，将每个磁盘的UUID与需要被挂载的相关目录绑定。

所述步骤3中，通过mount命令将磁盘挂载到相关的目录。

与现有技术相比，本发明的有益效果在于：本发明提供一种hadoop集群搭建磁盘乱序的解决方法，通过UUID解决磁盘乱序问题，不会再出现重新NameNode格式化后，DataNode无法起动的现象，该方法简单可靠，易执行。

附图说明

图1是Hadoop的架构图；

图2是hadoop集群搭建磁盘乱序的解决方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图2，本发明提供一种hadoop集群搭建磁盘乱序的解决方法，所述方法包括：

步骤1：查询磁盘设备的UUID号；

步骤2：修改/etc/fstab文件；

步骤3：将磁盘挂载。

所述步骤1中，根据ls-la/dev/disk/by-uuid查询磁盘设备的UUID号。

如：

lrwxrwxrwx.1 root root 10 Aug 15 11:07 27f8bc60-3c63-41e4-a3bc-fac625775238->../../sda1

lrwxrwxrwx.1 root root 10 Aug 15 11:07 3210d886-cd42-439c-900f-010210fe385f->../../sdb1

lrwxrwxrwx 1 root root 10 Aug 15 11:07 fe6bd727-bdc6-4af9-b80c-7876ed8d557b->../../sdc1

lrwxrwxrwx.1 root root 10 Aug 15 11:07 b868c920-427e-454f-8d3b-20b76b5ec207->../../sdd1    ......