[发明专利]一种适合海量数据下的实时业务监控系统

说明书

本发明属于应用性能管理技术领域，尤其是一种适合海量数据下的实时业务监控系统，包括用户任务层和技术构架层，其中：用户任务层包括采集规则的设置、清洗逻辑的设置、数据集的配置及大盘展示方式和报警阈值的设置；技术构架层包括数据采集模块：用于根据设置的采集规则从已有的数据源案例中进行数据采集，采集的数据通过数据通道传输至实时计算模块；实时计算模块：用于对数据根据设置的清洗逻辑和配置的数据集进行实时计算；持久化存储模块：用于对计算结果进行统一存储管理；数据展示层：用于进行各类导出。本发明能够从多个数据源按照采集规则采集数据，从而能够满足多数据源、海量数据的监控要求，具有可用性强和可扩展性强的优点。

技术领域

本发明属于应用性能管理技术领域，尤其是一种适合海量数据下的实时业务监控系统。

背景技术

应用性能管理是一个比较新的网络管理方向，主要指对企业的关键业务应用进行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本(TCO)。一个企业的关键业务应用的性能强大，可以提高竞争力，并取得商业成功，因此，加强应用性能管理（APM）可以产生巨大商业利益。

开源APM sky walking产品本身的架构对于国网现有系统来说不够健壮，无法满足各种系统指标海量数据的实时监控，因此需要有针对性的对其进行改造，以满足多系统，海量数据，实时监控。

针对现有技术的缺点，目前尚没有解决方案。

发明内容

发明目的：提供一种适合海量数据下的实时业务监控系统，以解决现有技术存在的上述问题。

技术方案：一种适合海量数据下的实时业务监控系统，包括用户任务层和技术构架层，其中：

用户任务层包括采集规则的设置、清洗逻辑的设置、数据集的配置及大盘展示方式和报警阈值的设置；

技术构架层包括数据采集模块、实时计算模块、持久化存储模块和数据展示层，

数据采集模块：用于根据设置的采集规则从已有的数据源案例中进行数据采集，采集的数据通过数据通道传输至实时计算模块；

实时计算模块：用于对从数据通道流入该模块的数据根据设置的清洗逻辑和配置的数据集进行实时计算；

持久化存储模块：用于根据配置的数据集对通过实时计算模块流入的计算结果进行统一存储管理；

数据展示层：用于根据配置的数据集及大盘展示方式和报警阈值对数据进行各类导出。

进一步的：数据采集模块连接有PHP数据源、C＃数据源、JAVA数据源和Node.js数据源，其中：

数据采集模块与PHP数据源连接用于对基于PHP语言开发的程序进行数据采集；

数据采集模块与C＃数据源连接用于对基于Asp.Net语言开发的微服务进行指标采集；

数据采集模块与JAVA数据源连接用于对基于JDK1.7以上版本的java程序进行数据收集；

数据采集模块与Node.js数据源连接用于通过SDK来推送数据。

该技术方案中，数据采集模块与多个数据源连接，能够实现对多个数据源的数据进行采集。

进一步的：清洗逻辑具体包括清洗计算和聚合计算，其中：

清洗计算用于对采集的数据进行清洗，聚合计算用于对来自不同数据源的数据进行合并。

该技术方案中，能够对采集的数据进行筛查和处理，避免大量数据涌入持久化存储模块的问题。

进一步的：配置的大盘展示方式包括柱线图、条形图或者饼图的展示方式。通过该技术方案，能够实现多种方式对数据进行展示的优点。

进一步的：数据展示层的数据导出包括通过Open API直接调用至应用端，通过报警通知直接通知至应用端，通过报警告知管理员。

进一步的：数据展示层通过邮件、短信或者钉钉的报警方式告知管理员报警的内容。