[发明专利]一种存储数据同步方法及装置有效
| 申请号: | 201911101179.9 | 申请日: | 2019-11-12 |
| 公开(公告)号: | CN110830580B | 公开(公告)日: | 2023-04-18 |
| 发明(设计)人: | 王润泽 | 申请(专利权)人: | 腾讯云计算(北京)有限责任公司 |
| 主分类号: | H04L67/1095 | 分类号: | H04L67/1095;H04L67/1097 |
| 代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 李娟 |
| 地址: | 100080 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 存储 数据 同步 方法 装置 | ||
本发明提供一种存储数据同步方法及装置,该方法包括:接收业务服务器的数据更新指令,数据更新指令携带需更新的同步数据;获取本地存储的各数据片的数据片摘要信息,各数据片摘要信息包括被划分到该数据片的数据的索引信息及用于表示该数据片的版本更新的版本号;根据索引信息确定同步数据所在的数据片,并在本地存储的数据中对同步数据进行更新;更新数据片摘要信息中,同步数据所在数据片的版本号及索引信息。利用本方法可以保证在多服务实例情境下的数据读写一致性、多副本一致性,可以令数据进行横向扩展,并且可以避免在读取数据时直接访问持久层的全量数据。
技术领域
本申请涉及分布式系统数据同步领域,特别涉及一种存储数据同步方法及装置。
背景技术
在大型的分布式系统中,为了将系统容量进行横向的扩展,通常会对分布式系统进行多实例的同构部署,目的是为了均摊分布式的系统的访问流量,但此种多实例的同构部署方式也会带来很多问题,例如,多实例的数据需要和持久层数据保持一致,同时在持久层内的数据在进行更新及删除时,同时也需要同步给多个实例的同构部署进行同步变化,如何在兼顾效率的情况下保持多实例和持久层数据的一致性,目前还没有很好的解决办法。
发明内容
本发明提供了一种存储数据同步方法及装置,用于提高多实例同构部署的数据同步的效率,并保证同步数据时数据的一致,为大型分布式系统的容量横向扩展提供技术支持。
本发明提供的第一方面提供了一种存储数据同步方法,该方法包括:接收业务服务器的数据更新指令,所述数据更新指令携带需更新的同步数据;
获取本地存储的各数据片的数据片摘要信息,各数据片摘要信息包括被划分到该数据片的数据的索引信息及用于表示该数据片的版本更新的版本号;
根据所述索引信息确定所述同步数据所在的数据片,并在本地存储的数据中对所述同步数据进行更新;
更新所述数据片摘要信息中,所述同步数据所在数据片的版本号及所述索引信息。
本发明的第二方面提供了一种分布式存储服务器的数据同步方法,该方法包括:
接收访问端发送的读取本地数据指令,获取被读取的本地的数据片摘要信息,数据片摘要信息包括被划分到该数据片的数据的索引信息及用于表示该数据片的版本更新的版本号;
获取中心服务器中存储的数据片摘要信息与被读取的本地的数据片摘要信息进行比对,确定存在数据片摘要信息不一致时向所述中心服务器发送数据下载请求;
获取比对不一致的被读取的数据片,根据中心服务器发送被读取的数据片中存储的数据进行数据同步,将被读取的数据片返回访问端。
本发明的第三方面提供了一种存储数据同步装置,所述装置包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述存储器中的计算机程序,所述计算机程序用于执行本发明的第一方面提供的存储数据同步方法。
此外,还提供了一种分布式存储服务器的数据同步装置,所述装置包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述存储器中的计算机程序,所述计算机程序用于执行本发明的第二方面提供的分布式存储服务器的数据同步方法。
本发明的第四方面提供了一种存储数据同步装置,所述装置包括以下模块:
服务器指令接收模块,用于接收业务服务器的数据更新指令,所述数据更新指令携带需更新的同步数据;
摘要信息获取模块,用于获取本地存储的各数据片的数据片摘要信息,各数据片摘要信息包括被划分到该数据片的数据的索引信息及用于表示该数据片的版本更新的版本号;
本地数据更新模块,用于根据所述索引信息确定所述同步数据所在的数据片,并在本地存储的数据中对所述同步数据进行更新;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯云计算(北京)有限责任公司,未经腾讯云计算(北京)有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911101179.9/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





