[发明专利]实时计算平台的监控和报警方法、系统、设备及存储介质

说明书

本发明提供了一种实时计算平台的监控和报警方法、系统、设备及存储介质，所述方法包括：获取另一种资源协调器的metrics信息，采用监控的应用程序的名称进行匹配，匹配到监控的应用程序的运行数据，判断所述应用程序是否处于运行状态；如果所述应用程序处于运行状态，则根据预设的运行状态判断规则判断所述应用程序是否运行正常，以及则读取所述应用程序的埋点数据，根据设定的基准埋点数据判断所述应用程序是否运行正常。通过采用本发明的方案，提供了对实时计算平台的多维度监控，对实时计算平台的监控更为灵活。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种实时计算平台的监控和报警方法、系统、设备及存储介质。

背景技术

随着互联网技术的快速发展，每天产生的数据正以指数级的速度增长，对这些大量数据的处理与分析具有巨大的应用价值，而实时数据的增多，传统的离线数据计算已经越来越难以满足分析的需求，因此流式计算应用越来越广泛。

目前，实时计算任务的需求持续增长，关于实时计算任务的监控尚不完善，而实时计算具有很高的实时性以及稳定性的要求，如果不能进行有效的实时监控，及时的处理报错，经常会带来巨大损失。监控系统的全面建立能够及时监控任务的报错，数据的异常，缩短处理任务异常所需的时间，更好的保证程序的稳定运行。然而，现有技术中，针对于流式计算任务的报警系统却并不完善，并且尚没有一套成熟的方案。

现有的实时任务的监控一般通过Grafana等可视化组件实现，Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询进行可视化的展示，并及时通知。用户通过配置信息到Grafana，检测到用户写到opentsdb信息，进行展示，并选择适当方式的报警。Opentsdb是基于Hbase的时序数据库，主要针对具有时间特性和需求的数据，如监控数据、温度变化数据等，opentsdb是在Hbase(一个分布式的、面向列的开源数据库)的基础上，进行数据结构的优化和处理，从而适合存储具有时间特性的数据，同时提供特定的工具进行查询等操作。

然而现有的方法中，对任务运行具体状态，应用本身metrics(metrics是一个给JAVA服务的各项指标提供度量工具的包)信息等没有做到明确的监控。此外，采用该种方法，在出现异常后需要用户进一步登录YARN日志界面进行查看，YARN即Yet AnotherResource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，并且不支持电话告警等更加及时有效的配置方式。因此只适合用户监控看板，查看任务一段时间运行状态。而作为刚需的报警功能支持上并不灵活，亦不完善。并且由于是直接应用的系统，配置方式以及场景都比较固化，一些特殊需求并没有办法通过二次开发实现。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种实时计算平台的监控和报警方法、系统、设备及存储介质，提供多维度监控方法。

本发明实施例提供一种实时计算平台的监控方法，包括如下步骤：

S100：获取另一种资源协调器的metrics信息，采用监控的应用程序的名称进行匹配，匹配到监控的应用程序的运行数据，判断所述应用程序是否处于运行状态；

S200：如果所述应用程序处于运行状态，则根据预设的运行状态判断规则判断所述应用程序是否运行正常；

S300：如果所述应用程序处于运行状态，则读取所述应用程序的埋点数据，根据设定的基准埋点数据判断所述应用程序是否运行正常。

可选地，所述读取应用程序的埋点数据，包括通过openTSDB应用程序编程接口读取应用程序中的埋点数据。

可选地，所述方法还包括获取用户设定的监控的应用程序名称，并创建与应用程序名称关联的监控任务。