[发明专利]一种hadoop集群性能的优化方法

说明书

技术领域

本发明涉及高性能集群领域，具体涉及一种hadoop集群性能的优化方法。

背景技术

hadoop技术已经在互联网领域得到广泛的应用，同时也得到了学术界的普遍关注。针对hadoop集群优化对于提高系统性能和执行效率具有重大的意义。以往的hadoop集群优化均为设置一个参数后，对系统进行性能测试，得出结果后根据经验判断参数设置的效果如何。这样将会造成太多时间的浪费。如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化是本发明要解决的问题。目前在hadoop集群优化中有大约几十个参数可以设置，给hadoop集群系统的性能优化带来了很大的麻烦。

发明内容

针对现有技术的不足，本发明提供一种hadoop集群性能的优化方法，该方法解决了如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化的问题，采用nmon工具来实时监控系统的各项性能指标，性能指标包括磁盘，CPU，内存网络等，在hadoop文件系统运行过程中及时发现性能瓶颈，及时发现hadoop集群系统设置参数的影响，从而更快更直接的进行hadoop集群系统的性能优化，节省大量的时间。

本发明的目的是采用下述技术方案实现的：

一种hadoop集群性能的优化方法，其改进之处在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：

A、安装监视工具nmon；

B、运行hadoop集群系统。

C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。

其中，所述安装监视工具nmon包括下述步骤：

a、从网页界面下载nmon二进制包；

b、将所述nmon二进制包复制到Hadoop集群的所有节点；

c、使用$NMON_HOME目录代表放置nmon二进制代码的位置；

d、选择作业管理节点jobtracker作为中心节点收集nmon数据；

e、登录jobtracker中心节点；

f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享；

g、创建脚本在Hadoop集群的所有节点上启动nmon。

其中，所述步骤b中，所述Hadoop集群的所有节点包括：目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。

其中，所述步骤f包括以下步骤：

（1）在所述jobtracker中心节点上创建目录；

（2）修改/etc/exports文件；

（3）重新启动网络文件系统服务；

（4）在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的perf_share目录中。

其中，所述步骤g中，所述脚本包括：-f表示希望把数据保存到文件中，并不在屏幕上显示；-m表示保存数据的位置；-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点（即快照），总数据收集时间为30x360秒，即3小时。

其中，所述步骤B中，通过所述监视工具nmon返回hadoop集群系统性能数据确定性能瓶颈，进行hadoop系统配置参数调整。

其中，所述hadoop集群系统的性能指标包括磁盘、CPU和内存网络。

其中，所述nmon为系统管理、调优和基准测试工具，用于监视hadoop集群系统的性能指标。

其中，所述hadoop系统配置参数调整是一个反复循环的过程。

其中，所述步骤C中，根据运行过程中监视工具nmon的性能反馈，对hadoop集群参数进行调整，包括：

I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统；

II、寻找调优的点，如果不能再优化，则维持现状；否则进行优化，继续进行步骤III；

III、进行hadoop集群系统优化，之后再进行统计测试。

与现有技术比，本发明达到的有益效果是：