[发明专利]数据管理方法、系统、装置、计算机设备及存储介质有效
申请号: | 201910455447.0 | 申请日: | 2019-05-29 |
公开(公告)号: | CN110231915B | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 徐子晨;黄嘉诚;高剑林;陈伟;邸欣晨 | 申请(专利权)人: | 南昌大学;腾讯科技(深圳)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 黄晶晶 |
地址: | 330000 *** | 国省代码: | 江西;36 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据管理 方法 系统 装置 计算机 设备 存储 介质 | ||
1.一种数据管理方法,所述方法包括:
通过集群中的主节点接收当前的数据处理请求;
当数据处理请求中包括写请求时,响应于所述写请求在主节点中写入数据,并生成包括所述数据的数据记录块;所述主节点具有相应的辅助节点;所述辅助节点包括第一节点和第二节点;所述辅助节点,是不参与投票和竞选的节点;
向所述第一节点分发所述数据记录块;所述数据记录块,用于被转发至与各所述第一节点分别对应的从节点,以指示在各从节点中复制所述数据记录块中记录的所述数据并存储;
当所述数据处理请求中包括读请求时,则从所述集群的从节点中为所述读请求分配相应的目标从节点;
其中,所述读请求,用于被所述目标从节点转发至与所述目标从节点对应的所述第二节点,以指示所述第二节点处理所述读请求;被转发至的第二节点存储有所述目标从节点中的最新版本的数据。
2.根据权利要求1所述的方法,其特征在于,所述数据记录块,还用于指示各第一节点之间对接收到的所述数据记录块进行一致性校验,并在一致性校验通过后,将所述数据记录块转发至与各第一节点对应的从节点。
3.根据权利要求1至2中任一项所述的方法,其特征在于,所述方法还包括:
获取辅助节点的创建数量;
确定节点位置组合;所述节点位置组合中包括符合所述创建数量的辅助节点的位置;
在所述节点位置组合中包括的辅助节点的各位置处,创建所述主节点的辅助节点。
4.根据权利要求3所述的方法,其特征在于,所述确定节点位置组合包括:
获取候选的节点位置组合;各候选的节点位置组合中包括符合所述创建数量的辅助节点的位置;
预测各节点位置组合对应的集群的性能值;各集群的性能值,为当辅助节点建立于各候选的节点位置组合中的相应位置处时所述集群的性能指标数值;
从各所述候选的节点位置组合中,选取对应于最大性能值的节点位置组合。
5.根据权利要求4所述的方法,其特征在于,所述预测各节点位置组合对应的集群的性能值包括:
针对每个候选的节点位置组合,预测各辅助节点建立于所述候选的节点位置组合中相应位置处时的性能值;
根据预测的同一候选的节点位置组合中各辅助节点的性能值,确定各候选的节点位置组合所对应的集群的性能值。
6.根据权利要求3所述的方法,其特征在于,所述获取辅助节点的创建数量包括:
根据所述当前的数据处理请求,确定所述集群中的当前负载信息;
获取主节点当前对应的第一资源交换数值、从节点对应的第二资源交换数值和辅助节点对应的第三资源交换数值;
根据所述当前负载信息、所述第一资源交换数值、所述第二资源交换数值和所述第三资源交换数值,确定辅助节点的创建数量。
7.根据权利要求6所述的方法,其特征在于,所述根据所述当前负载信息、所述第一资源交换数值、所述第二资源交换数值和所述第三资源交换数值,确定辅助节点的创建数量包括:
获取辅助节点的多个候选的节点分配策略;
预测在各候选的节点分配策略下针对所述当前的数据处理请求的平均响应时间;
基于各候选的节点分配策略中的从节点和辅助节点的分配数量、所述第一资源交换数值、第二资源交换数值和第三资源交换数值,确定各候选的节点分配策略所对应的资源交换总值;
根据所述当前负载信息、以及对应于同一候选的节点分配策略的所述平均响应时间和所述资源交换总值,分别确定在各所述候选的节点分配策略下产生的资源增长数值;
从最大资源增长数值所对应的候选的节点分配策略中,获取辅助节点的分配数量,得到辅助节点的创建数量。
8.根据权利要求7所述的方法,其特征在于,所述当前负载信息包括所述数据处理请求中写请求和读请求的第一比例;
其中,所述辅助节点的创建数量包括第一节点的第一创建数量和第二节点的第二创建数量;所述第一创建数量和第二创建数量之间的第二比例,与所述第一比例正相关。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南昌大学;腾讯科技(深圳)有限公司,未经南昌大学;腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910455447.0/1.html,转载请声明来源钻瓜专利网。