[发明专利]异构存储介质之间的数据处理方法、装置及设备在审
| 申请号: | 202110351922.7 | 申请日: | 2021-03-31 |
| 公开(公告)号: | CN115145473A | 公开(公告)日: | 2022-10-04 |
| 发明(设计)人: | 杨彦斌;姚舜扬;郑锴;孙大鹏;李佳佳 | 申请(专利权)人: | 阿里巴巴新加坡控股有限公司 |
| 主分类号: | G06F3/06 | 分类号: | G06F3/06 |
| 代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 刘戈;孙明子 |
| 地址: | 新加坡珊顿道*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 存储 介质 之间 数据处理 方法 装置 设备 | ||
1.一种异构存储介质之间的数据处理方法,其特征在于,包括:
获取源存储介质中的至少一个待处理文件;
对所述至少一个待处理文件进行计算,获得所述至少一个待处理文件各自对应的第一校验信息;
获取目标存储介质中存储的所述至少一个待处理文件各自对应的第二校验信息,其中,所述源存储介质与所述目标存储介质为异构存储介质;
基于所述第一校验信息与所述第二校验信息,判断所述至少一个待处理文件是否为所述源存储介质与所述目标存储介质之间的差异文件。
2.根据权利要求1所述的方法,其特征在于,对所述至少一个待处理文件进行计算,获得所述至少一个待处理文件各自对应的第一校验信息,包括:
获取用于对所述至少一个待处理文件进行校验计算的校验和算法;
利用所述校验和算法对所述至少一个待处理文件进行计算,获得所述至少一个待处理文件各自对应的第一数据校验和。
3.根据权利要求1所述的方法,其特征在于,在获取源存储介质中的至少一个待处理文件之前,所述方法还包括:
获取历史时刻存储在所述源存储介质中的至少一个待处理文件;
计算与所述至少一个待处理文件各自对应的历史校验信息;
将所述历史校验信息作为第二校验信息、与至少一个待处理文件传输至所述目标存储介质。
4.根据权利要求1所述的方法,其特征在于,基于所述第一校验信息与所述第二校验信息,判断所述至少一个待处理文件是否为所述源存储介质与所述目标存储介质之间的差异文件,包括:
在所述第一校验信息与所述第二校验信息相同时,则确定与所述第一校验信息所对应的待处理文件不是差异文件;
在所述第一校验信息与所述第二校验信息不同时,则确定与所述第一校验信息所对应的待处理文件是差异文件。
5.根据权利要求4所述的方法,其特征在于,在确定与所述第一校验信息所对应的待处理文件是差异文件之后,所述方法还包括:
将所述差异文件传输至所述目标存储介质。
6.根据权利要求5所述的方法,其特征在于,将所述差异文件传输至所述目标存储介质,包括:
生成与所述差异文件相对应的分布式传输任务;
确定与所述分布式传输任务相对应的分布式节点;
利用所述分布式节点将所述差异文件传输至所述目标存储介质。
7.根据权利要求5所述的方法,其特征在于,在将所述差异文件传输至所述目标存储介质时,所述方法还包括:
计算与所述差异文件相对应的传输中校验信息;
获取所述目标存储介质对所接收到的差异文件进行计算得到的目标校验信息;
基于所述传输中校验信息与所述目标校验信息,检测所述差异文件的传输是否正常。
8.根据权利要求7所述的方法,其特征在于,计算与所述差异文件相对应的传输中校验信息,包括:
获取所述目标存储介质中存储的用于对数据进行校验的校验算法;
利用所述校验算法对所述差异文件进行计算,获得与所述差异文件相对应的传输中数据校验和。
9.根据权利要求7所述的方法,其特征在于,基于所述传输中校验信息与所述目标校验信息,检测所述差异文件的传输是否正常,包括:
在所述传输中校验信息与所述目标校验信息相同时,则确定所述差异文件传输正常;
在所述传输中校验信息与所述目标校验信息不同时,则确定所述差异文件传输异常。
10.根据权利要求1-9中任意一项所述的方法,其特征在于,在对所述至少一个待处理文件进行计算之前,所述方法还包括:
获取所述目标存储介质中存储的与所述至少一个待处理文件相对应的已存储文件;
基于所述已存储文件对所述至少一个待处理文件进行筛选,获得所述至少一个待处理文件中所包括的目标处理文件,其中,所述目标处理文件与所对应的已存储文件相同。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴新加坡控股有限公司,未经阿里巴巴新加坡控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110351922.7/1.html,转载请声明来源钻瓜专利网。





