[发明专利]一种无代理的数据处理系统监控与管理方法

说明书

技术领域

本发明涉及一种计算机数据处理系统监控方法。

背景技术

对于某些结构和功能较为复杂的处理系统，对性能要求较高，监控系统不能影响节点的性能，并能够开启和关闭所有节点上的数据处理进程，除此之外，每个处理节点的监控要求是不同，按照处理流程分别说明如下：

1）数据缓存节点。通过网络接收外部数据到缓存区，并从缓存区中取出数据发送给下一个节点，要求接收速度稳定平滑，波动较小。要求监控系统能定时监控此节点的网络输入输出速度，以及CPU、内存、硬盘的状态信息；

2）数据预处理节点。接收来自缓存节点的数据，将数据分类并进行格式化处理，处理完毕后按照分类存储到磁盘，并同时按照数据类型分发送给一个集群解压缩系统。要求监控系统能够定时监控此节点的不同数据类型的网络输出速度、节点的CPU及内存占有量、磁盘空间余量，并能够显示预处理进程产生的日志信息；

3）集群解压缩节点。接收来自预处理节点的数据，分类解压缩后存储并发送给下一个节点，由若干台服务器通过松散耦合方式的连接组成集群服务器，来并行处理解压缩任务，根据解压缩性能需求的变化，服务器数量是可扩展的，集群解压缩节点执行任务期间处于高负荷运行，CPU和I/O系统都处于较高的占有率。要求监控系统不能影响其性能，并能随着集群服务器数量变化而灵活配置，监控系统需要定时监控每台服务器的CPU、内存、磁盘余量，能够显示每台服务器上的解压缩进程产生的日志信息；

4）数据显示节点。接收集群解压缩节点的解压缩数据，并将其图像进行显示，按照灵活性要求，所有数据类型既可以一台PC机上显示，也可以在多台PC机上显示。要求监控系统能够显示节点进程产生的日志信息，并在无需修改的情况下，能够监控多个显示节点。

总体而言，监控系统所要实现的功能包括：监控CPU、内存、磁盘、网络接口资源利用率，启动和关闭每个节点的进程以及显示日志信息。此外，要求监控系统不能影响节点的性能，并能满足节点个性化的监控需求。

针对计算机CPU、内存、磁盘及网络接口的监控，众所周知，目前的监控方式是一种基于“代理”的入侵式监控架构，所谓的“代理”就是在被监控计算机上安装的一种额外的软件或服务，对被监控的计算机而言就是一种入侵，在安装并配置好“代理”后，这些“代理”会通过本地操作系统获取监控信息，定时或不定时的通过网络向控制台发送监控信息。图1是基于“代理”的监控方法的原理图。

从图1中可以看出，应用“代理”方式进行某遥感数据处理系统监控时，不能很好的满足监控需求，具体表现在：

1）无法满足不影响系统性能的需求。代理程序往往以较低的优先级和较少的资源消耗在后台运行，正常情况下对计算机的影响很小，但当系统处于高负荷运转时，对“代理”的活动变得敏感，容易引起系统的性能波动，如果“代理”本身存在缺陷，则会严重影响性能并导致监控管理失败；

2）部署、配置以及维护和升级困难。随着数据处理系统规模的扩展，每个节点的每台服务器都要安装“代理”并设定监控信息，特别是每台服务器的监控需求不同时，设置监控信息的工作量巨大。在升级和维护时，如果监控信息类型发生变化，那么需要同时修改主监控和监控代理，花费时间多，灵活性差，维护成本高；

3）监控系统的设计较为复杂。复杂性主要体现在主监控和代理的通信协议设计上，主监控需要首先对被监控目标进行网络连接，然后按照预定格式封装监控和管理指令，最后通过网络发送给代理，代理在接收到指令后，要根据预定协议解析指令，在指令执行完毕后，按照协议给主监控发送回复，由于整个监控常常是短时的定时机制，所以导致网络通信频繁。

目前的数据处理监控系统不能很好的满足需求，需要设计有针对性的监控和管理系统。

发明内容

本发明构建了一种轻量级的监控与管理系统，是一种无代理非入侵式的监控与管理方法，仅在一台与数据处理系统互联互通的PC机上部署和运行即可，监控和管理简单有效，无论是配置、运行、维护还是升级都仅在这一台PC上进行，并满足所有监控需求；克服了背景技术基于代理的监控方法存在的缺点。

本发明的方案是基于以下研究分析得出的。