[发明专利]一种提高集群数据采集能力的方法、装置及介质在审
申请号: | 202111645492.6 | 申请日: | 2021-12-29 |
公开(公告)号: | CN114328604A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 李兴华 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;H04L67/10 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 李泽艳 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 提高 集群 数据 采集 能力 方法 装置 介质 | ||
1.一种提高集群数据采集的能力的方法,其特征在于,包括:
从多个节点中选取多个Leader,其中所述Leader的个数小于所述节点的个数;
当各所述节点启动时,控制各所述节点从多个所述Leader中选取对应的所述Leader,并向所述Leader上报数据以便在各所述Leader中得到对应的本地节点的数据以及各所述Leader对所述上报数据统计生成元数据;其中,所述元数据为表征实际数据上报的位置信息的数据;
控制各所述Leader交互所述元数据以便在各所述Leader中得到集群中除本地节点之外的剩余所述节点的元数据。
2.根据权利要求1所述的提高集群数据采集的能力的方法,其特征在于,在所述控制各所述Leader交互所述元数据以便在各所述Leader中得到剩余所述节点的元数据之后,还包括:
当从当前所述Leader中请求数据时,判断请求的所述数据是否在当前所述Leader的所述本地节点上;
若是,则从所述本地节点上获取所述数据;
若否,则根据剩余所述节点的所述元数据获取所述数据。
3.根据权利要求1所述的提高集群数据采集的能力的方法,其特征在于,所述从多个节点中选取多个Leader包括:
根据集群规模中的节点的个数以及每个所述节点的存储量从多个节点中选取多个所述Leader。
4.根据权利要求1所述的提高集群数据采集的能力的方法,其特征在于,当各所述节点启动时,控制各所述节点从多个所述Leader中选取对应的所述Leader包括:
当各所述节点启动时,获取集群中的所述Leader的节点的总个数;
控制各所述节点从多个所述Leader中选取所连接节点数目最少的两个所述Leader。
5.根据权利要求4所述的提高集群数据采集的能力的方法,其特征在于,在向两个所述Leader上报数据之后,还包括:
将所述数据存储到数据库。
6.根据权利要求4所述的提高集群数据采集的能力的方法,其特征在于,还包括:
在一个所述Leader宕机的情况下,从剩余所述Leader中获取所述数据。
7.根据权利要求1所述的提高集群数据采集的能力的方法,其特征在于,还包括:
在一个所述Leader宕机的情况下,控制所述Leader中包含的所述本地节点从剩余的多个所述Leader中选取对应的所述Leader,并向所述Leader上报数据;并进入所述控制各所述Leader交互所述元数据以便在各所述Leader中得到剩余所述节点的元数据的步骤。
8.一种提高集群数据采集的能力的装置,其特征在于,包括:
选取模块,用于从多个节点中选取多个Leader,其中所述Leader的个数小于所述节点的个数;
第一控制模块,用于当各所述节点启动时,控制各所述节点从多个所述Leader中选取对应的所述Leader,并向所述Leader上报数据以便在各所述Leader中得到对应的本地节点的数据以及各所述Leader对所述上报数据统计生成元数据;其中,所述元数据为表征实际数据上报的位置信息的数据;
第二控制模块,用于控制各所述Leader交互所述元数据以便在各所述Leader中得到剩余所述节点的元数据。
9.一种提高集群数据采集的能力的装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的提高集群数据采集的能力的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的提高集群数据采集的能力的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111645492.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置