[发明专利]一种面向多级调度分布式并行计算的监控系统及监控方法

说明书

本发明涉及一种面向多级调度分布式并行计算的监控系统及监控方法，所述系统包括为本地集群监控模块和多级共享集群的监控模块。前者实现了对每台服务器节点信息的监视和控制，集群调度节点通过可配置模块可接受来自监控客户端的命令并正确响应；后者实现了对基于Zookeeper架构模式的多级共享分布式并行计算集群资源池的统一管理和控制，通过网关节点服务器的管理客户端，都可以清晰的查看资源池中已注册的多个集群信息。本发明技术方案能够通过界面高效准确的观察应用运行的状态，精准衡量应用的运行状态，从而对应用能够准确计量其使用的消耗量；灵活可扩展的监控系统具有强大的容错能力，从而提高了系统的可靠性和服务性。

技术领域

本发明涉及集群监控领域，具体涉及一种面向多级调度分布式并行计算的监控系统及监控方法。

背景技术

分布式系统是由多个分散的计算机经互连网络构成的统一计算机系统。其中各个物理的和逻辑的资源既相互配合又高度自治，能在全系统范围内实现资源管理和数据共享，动态地实现任务分配和功能分配，且能并行的运行分布式程序，它强调资源、任务、功能、数据和控制的全面分布，它们分布于各个物理上分散的计算机节点中，各个节点经过互连网络相互通信，构成统一的处理系统。

任何分布式系统都会涉及到数据的一致性问题，进行数据一致性分析和处理主要出于两个目的：可靠性和性能。数据一旦被更改或复制，就会带来一致性的问题。

分布式系统的一个重要问题是数据的复制，对数据的复制一般有两个原因：

1、增加系统的可靠性，防止单点失效的问题；

2、提高系统性能，利用不同地理位置的副本迅速响应用户需求。

数据复制的主要难题是保持各个副本的一致性。即在更新一个副本时，必须确保更新其他副本，否则数据的各个副本将不再相同。

一致性模型实质上是进程和数据之间的一个约定，正常情况下，一个数据项上执行读操作时，它期待该操作返回的是该数据在其最后一次写操作之后的结果。在没有全局时钟的情况下，精确的定义哪次写操作时最后一次写操作是十分困难的。

分布式并行计算集群(也称为分布式并行计算平台)聚合了大量物理资源、虚拟资源，并采用虚拟化技术实现动态伸缩服务量，按需提供服务。而监控在提高分布式并行计算平台服务质量方面扮演重要角色；为使得平台可以顺利提供服务且正确运转，需要多方位监控。

发明内容

本发明的目的是提供一种面向多级调度分布式并行计算的监控系统及监控方法，能够通过界面高效准确的观察应用运行的状态，精准衡量应用的运行状态，从而对应用能够准确计量其使用的消耗量；灵活可扩展的监控系统具有强大的容错能力，从而提高了系统的可靠性和服务性。

为实现上述目的，本发明采用以下技术方案：一种面向多级调度分布式并行计算的监控系统，包括：

本地集群监控模块和多级共享集群监控模块；

本地集群监控模块包括集群调度节点、可配置模块和监控处理模块；本地集群调度节点用于定时将本地集群的资源信息发送到连接该集群的监控客户端，供客户端统计和展示；可配置模块用于将监控客户端的控制命令发送至本地集群调度节点，本地集群调度节点判断控制命令中的消息类型并将控制消息发送至监控处理模块；监控处理模块根据控制消息对本地集群节点进行处理，并将处理结果发送至本地集群调度节点，本地集群调度节点通过监控响应模块对控制命令进行响应；

多级共享集群监控模块包括分布式的群集调度节点、多级共享集群资源池和管理客户端；所述分布式的群集调度节点将本地集群信息发送至本地集群网关节点监控应用模块；多级共享集群资源池通过本地集群网关节点监控应用模块将本地集群信息写入多级共享集群资源池中，集中管理；管理客户端用于查看资源池中已注册的多个本地集群信息并控制和调整其中一个集群的相应属性。