[发明专利]一种监控集群存储接口节点负载的方法

说明书

技术领域

本发明涉及计算机技术领域, 具体地说是一种监控集群存储接口节点负载的方法。

本发明应用于海量存储领域的分布式文件系统外部访问请求分配系统中。在云计算浪潮的推动下，高性能计算、网格计算、流媒体文件存储与访问等越来越多的依赖于大容量存储系统，其中以分布式文件系统为基础的分布式存储系统逐渐成为海量存储系统的主流应用。

针对外部访问请求任务在分布式文件系统成百上千台接口节点服务器中的合理分配成为云环境中的一个重要问题。这种问题的出现影响到接口节点服务器提供访问服务的效率、甚至造成访问服务的中断以至于影响到应用层的功能实现，特别是在接口节点服务器负载不堪重负时更加严重。

背景技术

随着云计算以及海量存储系统的发展，分布式文件系统在存储后端应用越来越广泛，分布式文件系统的直接访问节点（接口节点服务器或访问网关）的规模也迅速扩大，针对成百上千的接口节点服务器的管理及访问请求任务在接口节点服务器集群的合理分配成为云业务环境中的一个重要问题。解决此问题的关键则要实现以性能参数收集、负载实时监控为基础数据来源，负载变化率评测为中心的接口节点服务器可继续承担访问负载能力的评测功能。目前针对分布式文件系统接口节点负载的监控还较多的依赖于单个监控项（如CPU、内存等），而且没有考虑接口节点服务器系统负载变化率因素、更没有进行可继续承担负载能力的评测。

随着云计算和高性能应用对存储系统的容量和性能要求越来越高，作为分布式海量存储系统核心的分布式文件系统获得了较大的发展和应用。分布式文件系统以提供文件系统统一命名空间的形式提供存储空间给接口节点服务器，接口节点服务器承担来自系统外部针对分布式文件系统的访问请求。

在云业务环境中，将呈现出的长时间持续访问请求、特定时间段的爆发式访问请求，以及多业务的不同级别的访问请求合理的分配到不同接口节点服务器（或服务器集群）等问题将影响到存储系统的运行效率，以及系统上层业务应用的可靠性、一致性，以至于文件系统数据的一致性。

发明内容

本发明的目的是提供一种监控集群存储接口节点负载的方法。

本发明的方法是按以下方式实现的，本方法包含三个部分：接口节点服务器的性能参数收集模块，接口节点服务器实时负载监测模块，融合接口节点服务器性能参数阈值、实时负载监控以及最大负载变化率的负载评测模块。

接口节点服务器性能参数收集模块是部署在接口节点服务器上的系统设备性能参数收集模块，用于定时循环获取接口节点服务器CPU、内存、网络的性能参数信息，作为实时负载监控以及最大负载变化率的负载评测模块进行系统负载评测模块的数据来源之一。

接口节点服务器实时负载监测模块是部署在接口节点服务器上针对系统各种设备的负载监控和最大负载变化率监控评测模块，用于实时监控接口节点服务器CPU负载、内存负载、网络负载、访问请求任务负载；并根据历史负载的监控信息生成系统负载的变化率以及最大变化率信息，作为实时负载监控以及最大负载变化率的负载评测模块模块进行系统负载评测模块的数据关键来源。

实时负载监控以及最大负载变化率的负载评测模块是部署在接口节点服务器上用于整体评测接口节点服务器“空闲”程度的判决模块，此模块通过接口节点服务器的性能参数收集模块输出的系统设备性能参数信息以及接口节点服务器实时负载监测模块输出的实时绝对负载信息、负载变化率以及最大负载变化率信息，依照系统设定的负载评测策略生成接口节点服务器可继续承载外部访问负载的判决信息。此判决信息提供给分布式文件系统的入口服务器，入口服务器根据接口节点服务器集群中处于“活动”状态的接口节点服务器提供的判决信息选择较为“空闲”的接口节点服务器承担新增的访问请求。

在分布式文件系统的接口节点服务器设立性能参数收集模块、负载监测模块、负载测评模块，通过设置不同的监控评测策略，实现对接口节点服务器的可继续承担访问负载能力的整体评测，评测结果作为分布式文件系统入口服务器分配访问请求到“空闲”接口节点的重要依据,具体步骤如下：

通过在接口节点服务器设定可配置的系统负载评测策略，包括1）收集接口节点服务器的CPU、内存、带宽三种设备性能参数；2）针对接口节点服务器CPU、内存、网络、访问负载的实时监控以及最大负载变化率的监测，3）将两部分信息通过负载测评模块生成接口节点服务器，继续承担系统访问负载的评测；