[发明专利]一种基于数据血缘的业务服务监控系统及监控方法

说明书

本发明公开了一种基于数据血缘的业务服务监控系统及监控方法，属于业务服务监控系统技术领域，从子系统角度展示大数据平台的整体运维监控视图，帮助平台运维人员快速定位到具体问题模块，基于数据血缘可视化展示业务服务上下游链路，帮助运维人员快速排查问题和分析问题影响。

技术领域

本发明涉及一种业务服务监控系统，特别是涉及一种基于数据血缘的业务服务监控系统及监控方法，属于业务服务监控系统技术领域。

背景技术

目前市面上有众多监控告警开源工具和成熟产品，能够很好地实现对网络服务、主机资源等基础资源的监控，针对微服务架构和云原生环境，也有产品可以通过调用链监控技术实现对应用系统的监控。

但在大数据平台中，由于大数据平台通常由多个应用模块或子系统组成，例如大数据支撑子系统、数据管理子系统、数据共享交换子系统等，不同的子系统有各自的监控模块和技术运维人员。

对于大数据平台整体运维人员来说，现有的监控产品无法形成大数据平台整体监控视图，平台运维人员难以快速定位到具体问题模块。

另外，大数据平台的核心功能是实现对数据的全生命周期处理，但数据处理业务服务间通常没有调用链关系，现有产品无法实现数据业务服务的上下游追溯监控，因此需要结合大数据平台实际需求，开发一种基于数据血缘的业务服务监控系统及监控方法来改进上述问题。

发明内容

本发明的主要目的是为了提供一种基于数据血缘的业务服务监控系统及监控方法，从子系统角度展示大数据平台的整体运维监控视图，帮助平台运维人员快速定位到具体问题模块。

基于数据血缘可视化展示业务服务上下游链路，帮助运维人员快速排查问题和分析问题影响。

本发明的目的可以通过采用如下技术方案达到：

一种基于数据血缘的业务服务监控系统及监控方法，包括后台管理服务器、推送网关、指标中心、注册中心、大数据平台和前端UI；

后台管理服务器包括监控中心和告警中心；

指标中心，指标中心使用开源监控工具Prometheus，负责所有监控指标的采集、存储和预处理，通过在各子系统服务器上安装探针，周期采集服务器指标数值，实现指标的定期拉取；

推送网关，推送网关使用开源组件Pushgateway，负责接收各服务主动推送的指标，各子系统上的服务可主动推送定制化指标到推送网关中。指标中心将定期采集推送网关中的指标数据；

注册中心，注册中心使用开源组件Consul，负责监控资源的注册和注销，当大数据平台中新增子系统或服务器时，需要先在注册中心中完成注册，指标中心将同步注册中心的资源，实现资源的自动扩展；

监控中心，监控中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责资源管理、指标管理、告警规则管理，支持指标查询，组表组合计算，根据告警规则进行阈值判断等功能。当触发告警时，将推送告警记录到告警中心；

告警中心，告警中心是监控系统的核心模块之一，使用SpringBoot框架进行开发，主要负责告警管理、问题管理、故障预案管理，当接收到来自监控中心的告警记录时，生成相关问题工单，通过指定邮件/短信服务通知到运维人员，按照处理流程完成问题工单；

前端UI是监控系统的核心模块之一，使用Vue框架进行开发，主要负责基础资源、应用服务、业务服务指标的可视化，平台整体监控运维视图呈现，业务服务关系链路图呈现，通过可视化方式帮助运维人员快速理解和定位平台问题。

优选的，后台管理服务器连接有数据血缘服务器并接收血缘数据，后台管理服务器连接邮件\短信服务器并推送告警，后台管理服务器连接统一身份认证并进行用户认证。