[发明专利]一种处理监控大数据的实时流计算监控系统及方法

说明书

本发明公开了一种处理监控大数据的实时流计算监控系统及方法，该系统包括数据采集单元，采用监控Agent，通过主动上报或主动收集的方式获得对应机器上的监控原始数据；数据缓存单元，包括用于存储监控Agent收集到的监控原始数据和存储聚合计算后的监控数据的高性能消息队列Kafka；数据计算单元，基于高并发流计算引擎Flink，对原始监控数据进行聚合计算，聚合计算完的监控数据被发送到高性能消息队列Kafka中做暂时缓存；监控状态管理服务单元，用于监控数据采集单元和数据计算单元的运行状态；数据存储单元和数据展现单元，本发明所公开的系统及方法保证了高并发计算的准确性，加快了展现速度。

技术领域

本发明涉及大数据计算技术领域，特别涉及一种处理监控大数据的实时流计算监控系统及方法。

背景技术

随着云计算大数据技术的日益普及，分布式技术快速发展，业务系统规模日益复杂，机器规模日益庞大，相应产生的监控数据也逐渐成为一种大数据(以下简称“监控大数据”)，传统的监控系统在应对监控大数据时显得力不从心，因此迫切需要新的监控系统具有高并发的处理能力。

众所周知，数据价值随着时间的流逝而快速降低，监控大数据对时间的要求更加迫切，如果监控到故障数据后，系统很久才能做出处理，那么系统的可用性及可靠性将大打折扣，因此迫切需要新的监控系统具有实时流计算的处理能力。

监控大数据是一种典型的时间序列数据(以下简称“时序数据”)，这是一种以(时间戳，数值)为元组的数据类型，需要特殊数据库存储，而传统的监控系统都是使用关系型数据库存储监控数据，因此迫切需要新的监控系统使用时序数据库存储监控大数据。

监控大数据的展现是监控系统非常重要的一部分，传统的监控系统展现能力比较弱，直接展示原始监控数据时性能比较差，随着前端技术的发展，对监控大数据展现能力的要求也越来越高，因此迫切需要新的监控系统具有很强的前端展现能力。

监控大数据一般涉及到三个时间：监控数据产生的事件时间(Event Time)，监控数据到达监控系统的时间(Ingestion Time)，监控数据被处理的时间(Process Time)，传统的监控系统只能按照处理时间(Process Time)处理监控数据，当有网络延迟时，错误率比较高，因此迫切需要新的监控系统具有同时处理以上三种时间的能力。

现有的Zabbix是一个企业级的、开源的、分布式的监控套件，被用来监控IT基础设施的可用性和性能，采用Pull的方式采集数据，数据存储在关系型数据库MySQL中。Zabbix采用Pull的方式采集数据，不是一种流计算的方式，数据实时性不高；当目标机器量大之后，Pull任务会出现积压,采集数据会延迟,因此也不是一种高并发的监控系统；Zabbix将监控数据存储在关系型数据库MySQL中，而非专业的时序数据库，当数据量大时，数据库会成为瓶颈，性能上会有损耗。

目前也有技术存储层采用关系型数据库MySQL，存储层使用HTML5、CSS和JS库开发，界面风格使用Bootstrap3.0开发的大数据平台监控系统。尽管使用了大数据技术，但是存储监控数据的数据库仍是关系型数据库MySQL,而非专业的时序数据库，当数据量大时，数据库会成为瓶颈，性能上会有损耗。尽管展现层使用了HTML5、Bootstrap3.0，但只是对聚合的监控数据进行展现，并不能钻取到原始监控数据，易用性差。

另外，也有技术实时任务由Spark Streaming和Storm直接读取Kafka数据流，进行数据清洗和计算。尽管使用了流计算技术，但是Spark Streaming是一种“微批次”(Micro-Batch)技术，本质上还是批处理，并非真正的流计算，并且不能基于监控数据产生时间(Event Time)处理数据，错误率比较高。

发明内容