[发明专利]一种数据监控方法、装置、存储介质和服务器

说明书

本发明涉及计算机技术领域，提出一种数据监控方法、装置、存储介质和服务器。该数据监控方法包括：在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点；将所述待监控数据由spark的work节点发送至所述监控节点；通过所述监控节点实时展示所述待监控数据。本申请将akka集群应用于spark大数据处理过程的中间结果监测，从mapreduce产生的中间结果数据中选取待监控数据并发送至akka集群的监控节点进行监控，能够实时监控大数据计算过程中产生的中间结果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据监控方法、装置、存储介质和服务器。

背景技术

Spark是专为大规模数据处理而设计的快速通用的计算引擎，提供基于内存的mapreduce高性能算子，在企业的大数据应用中越来越普及。spark采用的是大吞吐量的批量数据处理方式，执行完毕后直接输出最终结果，数据计算的中间结果由mapreduce产生，存储于Spark各个work节点的RDD中。然而，由于spark不具备可以直接对接work节点的相关组件，导致无法获取以及监控某些重要数据的中间结果。

发明内容

有鉴于此，本发明实施例提供了一种数据监控方法、装置、存储介质和服务器，能够实时监控大数据计算过程中产生的中间结果。

本发明实施例的第一方面，提供了一种数据监控方法，包括：

在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；

从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点，所述目标节点用于分布式环境下的节点发现和节点注册，所述监控节点用于监控所述待监控数据；

将所述待监控数据由spark的work节点发送至所述监控节点；

通过所述监控节点实时展示所述待监控数据。

本发明实施例的第二方面，提供了一种数据监控装置，包括：

待监控数据选取模块，用于在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；

节点选取模块，用于从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点，所述目标节点用于分布式环境下的节点发现和节点注册，所述监控节点用于监控所述待监控数据；

待监控数据发送模块，用于将所述待监控数据由spark的work节点发送至所述监控节点；

数据监控模块，用于通过所述监控节点实时展示所述待监控数据。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如本发明实施例的第一方面提出的数据监控方法的步骤。

本发明实施例的第四方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如本发明实施例的第一方面提出的数据监控方法的步骤。