[发明专利]一种数据监控方法、装置、存储介质和服务器在审
申请号: | 201910422557.7 | 申请日: | 2019-05-21 |
公开(公告)号: | CN110247818A | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 王宸 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
主分类号: | H04L12/26 | 分类号: | H04L12/26;H04L29/08 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 郭雨桐 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及计算机技术领域,提出一种数据监控方法、装置、存储介质和服务器。该数据监控方法包括:在使用spark执行大数据处理的过程中,若获取到输入的数据选取指令,则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据;从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点;将所述待监控数据由spark的work节点发送至所述监控节点;通过所述监控节点实时展示所述待监控数据。本申请将akka集群应用于spark大数据处理过程的中间结果监测,从mapreduce产生的中间结果数据中选取待监控数据并发送至akka集群的监控节点进行监控,能够实时监控大数据计算过程中产生的中间结果。 | ||
搜索关键词: | 监控节点 监控数据 中间结果 数据监控 存储介质 数据选取 集群 服务器 计算机技术领域 指令 数据处理过程 集群应用 计算过程 节点发送 目标节点 实时监控 数据处理 大数据 构建 指向 发送 监控 监测 申请 展示 | ||
【主权项】:
1.一种数据监控方法,其特征在于,包括:在使用spark执行大数据处理的过程中,若获取到输入的数据选取指令,则从mapreduce产生的中间结果数据中选取所述数据选取指令指向的待监控数据;从预先构建的akka集群的节点中分别选取一个以上的目标节点以及一个以上的监控节点,所述目标节点用于分布式环境下的节点发现和节点注册,所述监控节点用于监控所述待监控数据;将所述待监控数据由spark的work节点发送至所述监控节点;通过所述监控节点实时展示所述待监控数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910422557.7/,转载请声明来源钻瓜专利网。