[发明专利]基于Web的集中式大规模集群监控预警系统

说明书

技术领域

本发明涉及计算机高性能领域，具体来说，涉及一种基于Web的集中式大规模集群监控预警系统。

背景技术

在编写应用程序的时候，通常会记录日志以便事后分析，在很多情况下是产生了问题之后，再去查看日志，是一种事后的静态分析。在很多时候，我们可能需要了解整个系统在当前，或者某一时刻运行的情况，比如当前系统中对外提供了多少次服务，这些服务的响应时间是多少，随时间变化的情况是什么样的，系统出错的频率是多少。这些动态的准实时信息对于监控整个系统的运行健康状况来说很重要。

一些应用程序，比如对外提供接口或者服务的WebService，对整个系统的实时运行情况进行监控显得尤为重要，就像操作系统里面的资源管理器一样，如果能够实时或者准实时的看到整个系统耗费的CPU，内存等资源，对于我们快速对系统做出响应，以及优化很重要。并且，这些实时的性能参数信息，对于一些高级应用场景，比如服务的熔断机制（需要实时统计系统出错比例和响应时间），只有做到了实时监控才能提供这些数据，才能实现这种提高系统稳健性的功能。

现有技术方案是：通过客户端命令的形式进行相关操作。但存在许多缺陷：1.这种技术对实际开发人员的要求很高。2.任务排查比较复杂。3.不能及时发现系统、硬件问题等。4.发现问题周期长。

以下为本发明中可能涉及的专业术语:

Gauges：最简单的度量指标，只有一个简单的返回值，例如，我们想衡量的一个待处理队列中任务个数。

Counters：计数器。

Meters：Meter度量一系列事件发生的速率。Meters会统计最近1分钟，5分钟，15分钟，还有全部时间的速率。

Histograms：Histogram统计数据的分布情况。比如最小值，最大值，中间值，还有中位数，75百分位, 90百分位, 95百分位, 98百分位, 99百分位, 和 99.9百分位的值。

Timers：Timer是 Histogram 和 Meter 的结合，Histogram 某部分代码/调用的耗时， meter统计TPS。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于Web的集中式大规模集群监控预警系统，能够实时监控集群的硬件资源。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于Web的集中式大规模集群监控预警系统，包括：master模块和slave模块；

所述master模块包括数据收集器，用于接收来自所述slave模块收集的信息；

所述slave模块包括数据采集器和Hadoop数据采集器，所述数据采集器用于收集机器本身相关指标，所述Hadoop数据采集器用于收集Hadoop相关服务模块的性能数据。

进一步的，所述数据收集器在接收数据后，由所述数据采集器中的时间轴服务通过Phoenix保存到列式数据库中。

进一步的，所述列式数据库以本地文件系统作为存储层。

进一步的，所述列式数据库以分布式文件系统作为存储层。

进一步的，所述机器本身相关指标包括但不限于：CPU、内存和硬盘。

进一步的，所述Hadoop相关服务模块的性能指标包括但不限于：模块的占用内存和模块的CPU占用率。

本发明的有益效果：1、监控集群的硬件资源；2、减少排查的复杂度；3、实时展现系统运行参数；4、极大缩短发现问题的周期。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的一种基于Web的集中式大规模集群监控预警系统的结构示意图；

图2是根据本发明实施例所述的服务器端的结构示意图；

图3是根据本发明实施例所述的Hadoop分布式文件系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。