[发明专利]基于动态路由的数据存储访问方法及系统有效
申请号: | 201810037104.8 | 申请日: | 2018-01-15 |
公开(公告)号: | CN108282522B | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 王崇文;王丰;叶天虹;王伟;罗伟东 | 申请(专利权)人: | 吉浦斯信息咨询(深圳)有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京酷爱智慧知识产权代理有限公司 11514 | 代理人: | 安娜 |
地址: | 518000 广东省深圳市南山*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 动态 路由 数据 存储 访问 方法 系统 | ||
1.一种基于动态路由的数据存储访问方法,其特征在于,包括:
检测缓存节点的状态;
当缓存节点的状态由可用变成不可用时,建立该缓存节点的路由路径为到落地数据库的路径,该缓存节点对应的数据请求直接透传到落地数据库;
当缓存节点的状态由不可用变成可用时,获取该缓存节点所管理的分片单位,路由到分片单位对应的落地数据库进行数据恢复;
当检测到缓存节点数据量超负荷时,对缓存节点进行数据迁移;
当接收到缓存节点的扩容请求时,对缓存节点进行数据扩容;
当接收到用户请求时,获取用户请求中访问的缓存节点,根据缓存节点的节点类型进行动态路由,并根据路由结果到分片单位读取或写入数据;
所述根据缓存节点的节点类型进行动态路由,并根据路由结果到分片单位读取或写入数据具体包括:
当节点类型为节点路由类型时,采用根据节点计算的crc32算法计算分片单位,进行路由;当节点类型为非节点路由类型时,采用根据数据量计算的crc32算法计算分片单位,进行路由。
2.根据权利要求1所述基于动态路由的数据存储访问方法,其特征在于,
所述获取该缓存节点所管理的分片单位,路由到分片单位对应的落地数据库进行数据恢复具体包括:
获取该缓存节点所管理的分片单位,访问对应的落地数据库;
将该落地数据库中需要恢复的数据写入缓存节点中。
3.根据权利要求1所述基于动态路由的数据存储访问方法,其特征在于,
所述当检测到缓存节点数据量超负荷时,对缓存节点进行数据迁移具体包括:
当缓存节点的节点类型为节点路由类型,且缓存节点的数据量超过预设的阈值时,判定缓存节点数据量超负荷,修改节点类型为非节点路由类型,获取缓存节点的分片单位;
将该缓存节点的数据按照分片单位进行数据迁移。
4.根据权利要求3所述基于动态路由的数据存储访问方法,其特征在于,
所述当接收到缓存节点的扩容请求时,对缓存节点进行数据扩容具体包括:
当接收到缓存节点的扩容请求时,接收新添加的新节点和分片单位,上报扩容状态;
按照分片单位扫描缓存节点,将缓存节点中需要扩容的数据写入新节点的分片单位中。
5.根据权利要求4所述基于动态路由的数据存储访问方法,其特征在于,
在所述按照分片单位扫描缓存节点,根据节点规则将扫描得到的数据写入对应的节点中之后还包括:
当接收到操作请求时,将操作请求写入缓存节点及新节点的排队队列中;
当缓存节点数据扩容结束后,执行排队队列中的操作请求,上报扩容完成状态。
6.一种基于动态路由的数据存储访问系统,其特征在于,包括:集群管理模块、数据恢复模块、节点管理模块、落地数据库、数据处理模块、缓存数据库集群;
所述集群管理模块用于检测缓存数据库集群中各个缓存节点的状态;当缓存节点的状态由可用变成不可用时,建立该缓存节点的路由路径为到落地数据库的路径,该缓存节点对应的数据请求直接透传到落地数据库;当缓存节点的状态由不可用变成可用时,生成该缓存节点的重启命令,发送给数据恢复迁移模块;
所述数据恢复模块用于在接收到缓存节点的重启命令时,获取该缓存节点所管理的分片单位,路由到分片单位对应的落地数据库进行数据恢复;
所述节点管理模块用于当检测到缓存节点数据量超负荷时,对缓存节点进行数据迁移;
所述数据处理模块用于当接收到用户请求时,获取用户请求中访问的缓存节点,根据缓存节点的节点类型进行动态路由,并根据路由结果到分片单位读取或写入数据;
所述根据缓存节点的节点类型进行动态路由,并根据路由结果到分片单位读取或写入数据具体包括:
当节点类型为节点路由类型时,采用根据节点计算的crc32算法计算分片单位,进行路由;当节点类型为非节点路由类型时,采用根据数据量计算的crc32算法计算分片单位,进行路由。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于吉浦斯信息咨询(深圳)有限公司,未经吉浦斯信息咨询(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810037104.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置