[发明专利]一种处理监控大数据的实时流计算监控系统及方法

权利要求书

1.一种处理监控大数据的实时流计算监控系统，其特征在于，包括如下单元：

数据采集单元，采用监控Agent，通过主动上报或主动收集的方式获得对应机器上的监控原始数据；

数据缓存单元，包括用于存储监控Agent收集到的监控原始数据和存储聚合计算后的监控数据的高性能消息队列Kafka；

数据计算单元，基于高并发流计算引擎Flink，对原始监控数据进行聚合计算，同时对监控数据划分时间窗口，在每个计算窗口内，按照监控指标进行分组，根据监控数据自身携带的数据采集时间进行聚合计算，处理乱序数据以及延迟到达数据，聚合计算完的监控数据被发送到高性能消息队列Kafka中做暂时缓存；

监控状态管理服务单元，用于监控数据采集单元和数据计算单元的运行状态；

数据存储单元，包括用于存储聚合计算后的监控数据的时序数据库InfluxDB，和用于存储监控原始数据的HBase；

数据展现单元，通过Grafana展现进行聚合计算后的监控数据，并且通过钻取功能，从HBase中联查到原始的监控数据。

2.一种处理监控大数据的实时流计算监控方法，采用如权利要求1所述的一种处理监控大数据的实时流计算监控系统，其特征在于，包括如下步骤：

(1)数据采集：数据采集单元利用监控Agent，通过主动上报或主动收集的方式获得对应机器上的监控原始数据，并且定时调用监控状态管理服务单元，实现对监控Agent状态的实时自监控；

(2)数据缓存：监控Agent收集到监控原始数据后，在本地做短时间的内存缓存，然后批量将监控原始数据发送到高性能消息队列Kafka，作为所有分布式监控大数据的集中数据缓存；

(3)数据计算：通过高并发流计算引擎Flink，从高性能消息队列Kafka中实时拉取监控数据进行聚合计算，同时计算时对监控数据划分时间窗口，在每个计算窗口内，按照监控指标进行分组，根据监控数据自身携带的数据采集时间进行聚合计算，处理乱序数据以及延迟到达数据，并且定时调用监控状态管理服务单元，实现对高并发流计算引擎Flink状态的实时自监控；

(4)数据缓存：高并发流计算引擎Flink聚合计算完的监控数据被发送到高性能消息队列Kafka中做暂时缓存；

(5)数据存储：存储在高性能消息队列Kafka中的监控数据被分类批量写入到不同的存储数据库，聚合计算后的监控数据写入到时序数据库InfluxDB，用于图表展现；监控原始数据写入到HBase，用于通过聚合数据钻取到原始数据；

(6)数据展现：通过Grafana展现进行聚合计算后的监控数据，通过提供的钻取功能，从HBase中联查到原始的监控数据。

3.根据权利要求2所述的一种处理监控大数据的实时流计算监控方法，其特征在于，所述步骤(2)中数据计算包括如下四种聚合维度计算方式：

a、全局维度

计算同一监控指标同一时间窗口内的全部数据，得到这些监控数据的最大值、最小值、平均值、最后值、求和值以及数据个数；

b、集群维度

对同一监控指标同一时间窗口内的监控数据，按集群维度进行分组，得到每个集群维度监控数据的最大值、最小值、平均值、最后值、求和值以及数据个数；

c、机器维度

对同一监控指标同一时间窗口内的监控数据，按机器维度进行分组，得到每个机器维度监控数据的最大值、最小值、平均值、最后值、求和值以及数据个数；

d、自定义维度

对同一监控指标同一时间窗口内的监控数据，按每一个自定义维度进行分组，得到每个自定义维度监控数据的最大值、最小值、平均值、最后值、求和值以及数据个数。