[发明专利]一种数据监控方法、装置、存储介质和服务器

权利要求书

1.一种数据监控方法，其特征在于，包括：

在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；

从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点，所述目标节点用于分布式环境下的节点发现和节点注册，所述监控节点用于监控所述待监控数据；

将所述待监控数据由spark的work节点发送至所述监控节点；

通过所述监控节点实时展示所述待监控数据。

2.根据权利要求1所述的数据监控方法，其特征在于，所述将所述待监控数据由spark的work节点发送至所述监控节点包括：

启动spark的各个work节点包含的JVM实例的ActorSystem对象；

将所述待监控数据通过所述JVM实例的ActorSystem对象发送至所述监控节点的ActorSystem对象。

3.根据权利要求2所述的数据监控方法，其特征在于，在将所述待监控数据通过所述JVM实例的ActorSystem对象发送至所述监控节点的ActorSystem对象之后，还包括：

分别确定各个所述待监控数据的数据类型；

针对任意的一个所述待监控数据，执行与自身的数据类型对应的数据处理操作。

4.根据权利要求1所述的数据监控方法，其特征在于，所述通过所述监控节点实时展示所述待监控数据包括：

获取所述监控节点的节点编号；

根据所述节点编号从预先构建的多个web UI界面中选取一个web UI界面；

将所述待监控数据添加至选取的web UI界面中展示。

5.根据权利要求1至4中任一项所述的数据监控方法，其特征在于，在通过所述监控节点实时展示所述待监控数据之后，还包括：

获取预先构建的所述待监控数据的预期值；

若监测到所述待监控数据的实时值和所述预期值之间的差别超过预设的阈值，则停止所述大数据处理的过程，并输出告警信息。

6.一种数据监控装置，其特征在于，包括：

待监控数据选取模块，用于在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；

节点选取模块，用于从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点，所述目标节点用于分布式环境下的节点发现和节点注册，所述监控节点用于监控所述待监控数据；

待监控数据发送模块，用于将所述待监控数据由spark的work节点发送至所述监控节点；

数据监控模块，用于通过所述监控节点实时展示所述待监控数据。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的数据监控方法的步骤。

8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：

在使用spark执行大数据处理的过程中，若获取到输入的数据选取指令，则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据；

从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点，所述目标节点用于分布式环境下的节点发现和节点注册，所述监控节点用于监控所述待监控数据；

将所述待监控数据由spark的work节点发送至所述监控节点；

通过所述监控节点实时展示所述待监控数据。