[发明专利]面向HDFS/Hadoop存储集群的资源监控系统及方法

权利要求书

1.一种面向HDFS/Hadoop存储集群的资源监控系统，包括HDFS存储管理服务器名称节点、HDFS存储集群中的若干数据节点，其特征在于包括：

1）状态参考信息收集模块：部署在HDFS存储集群的数据节点上，收集数据读写性能相关的关键状态信息，支持数据节点端多维资源信息的实时收集与保存，并以一定频率实时更新与管理；

2）心跳协议优化模块：部署在HDFS存储集群的数据节点上，负责将节点参考信息传送到名称节点，以一定的频率实时获取数据节点的实时状态信息，通过优化心跳传输协议，以一定的频率RPC调用名称节点的传输方法，传送当前节点的实时状态信息，保证传送过去的数据最新，支持多维信息的推送；

3）参考信息处理模块：部署在HDFS存储管理服务器名称节点，名称节点得到实时状态数据后，通过优化相关数据结构和方法，处理数据节点传送过来的状态信息，更新和保存数据节点的最新性能状态参考信息，使名称节点端实时了解数据节点提供数据存储和访问的性能状态。

2.一种面向HDFS/Hadoop存储集群的资源监控方法，其特征在于包括以下步骤：

1）从系统需要的角度，确定数据节点端收集的状态参考信息，将影响读和写性能的关键影响因素磁盘I/O使用率、CPU使用率和内存使用率这三者共同纳入资源监控的状态信息，加入类DatanodeStat用于存储上述三个新增入的状态信息；

2）数据节点启动后，后台收集状态信息的线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息，更新到DatanodeStat类实例中，保证它所记录的参考数据信息能反映当前节点的状态；

3）数据节点实时从DatanodeStat对象中获取数据节点的实时状态信息磁盘I/O使用率、CPU使用率和内存使用率，线程collectDatanodeStat在数据节点端实时获取集群中存储节点的实时状态信息；新加入的状态信息从源监控模块里得到，收集性能参考信息的线程不断的获取节点状态信息，并将数据保存到全局DatanodeStat类实例里，每收集一次信息就对其更新一次，保证数据最新；

4）心跳协议sendHeartbeat负责将数据节点的状态信息发送给名称节点，之后名称节点把心跳协议的工作移交给FSNamesystem的handleHeartbeat，更新名称节点中对这个数据节点的状态信息；

5）名称节点得到实时状态数据后，通过优化相关数据结构和方法，处理数据节点传送过来的状态信息，更新和保存数据节点的最新性能状态参考信息，名称节点端实时了解数据节点提供存储访问服务的性能状况。

3.根据权利要求2所述的面向HDFS/Hadoop存储集群的资源监控方法，其特征在于步骤2）具体流程是：

21）数据节点启动后台收集状态信息的线程collectDatanodeStat，在数据节点端实时获取集群中存储节点的实时状态信息；

22）数据节点从系统文件/proc/stat中获取内核活动信息，从不同的时间点对数据采样，计算出CPU利用率；

23）数据节点从系统文件/proc/meminfo文件中获取信息描述系统内存使用状况，从不同的时间点对数据采样，计算出内存利用率；

24）数据节点从iostat中可以得到磁盘读和写次数、合并读和合并写次数等，磁盘I/O利用率则可以用单位时间读写扇区次数rsec/s、 wsec/s和设备I/O操作的平均服务时间svctm，得到单位时间内I/O操作所占的百分比，util百分比=(rsec/s+ wsec/s)*( svctm/1000)；

25）从数据节点的Linux系统中获取到磁盘I/O使用率、CPU使用率和内存使用率获这些状态信息后，通过取后set方法更新DatanodeStat中的各成员，保证它所记录的参考数据信息能反映当前节点的状态；

26）线程collectDatanodeStat不断的重复上面132）~135）的工作，保证DatanodeStat类对象中保存的是当前数据节点最新状态信息。