[发明专利]数据处理方法、装置、电子设备及计算机存储介质在审
申请号: | 201910462532.X | 申请日: | 2019-05-30 |
公开(公告)号: | CN112015791A | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 黄贵;尚灿芳;何登成 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/22 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰;兰淑铎 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 计算机 存储 介质 | ||
1.一种数据处理方法,包括:
获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息,其中,所述第一层次的各个数据块具有相同的第一尺寸,所述第二层次的各个数据块具有相同的第二尺寸;
根据所述多个第一数据块的信息和所述多个第二数据块的信息,对各个第一数据块和各个第二数据块进行数据比较;
根据比较结果,进行所述第一层次和所述第二层次的数据合并。
2.根据权利要求1所述的方法,其中,所述第二层次为与所述第一层次相邻的高阶层次,所述第二尺寸小于所述第一尺寸。
3.根据权利要求2所述的方法,其中,所述根据比较结果,进行所述第一层次和所述第二层次的数据合并,包括:
根据所述比较结果,确定所述多个第一数据块和所述多个第二数据块中存在数据重合;
将存在数据重合的第一数据块合并入重合的第二数据块中,将不存在数据重合的第一数据块复用至所述第二层次。
4.根据权利要求3所述的方法,其中,所述将存在数据重合的第一数据块合并入重合的第二数据块中,包括:
判断存在数据重合的第一数据块中的数据是否存在满足设定标准的数据空档;
若存在,则根据所述数据空档将所述第一数据块划分为至少两个数据块后与所述第二数据块进行合并;
若不存在,则直接将所述第一数据块合并入所述第二数据块。
5.根据权利要求1-4任一项所述的方法,其中,所述第一尺寸和所述第二尺寸均为满足设定数据重合概率的尺寸。
6.根据权利要求5所述的方法,其中,所述第一尺寸和所述第二尺寸的尺寸范围均为2M—16M。
7.根据权利要求1-4任一项所述的方法,其中,
所述第一数据块和所述第二数据块均按照设定规则划分为设定大小的数据页;
所述根据所述多个第一数据块的信息和所述多个第二数据块的信息,对各个第一数据块和各个第二数据块进行数据比较,包括:根据所述多个第一数据块的信息和所述多个第二数据块的信息,以所述数据页为单位读取各个第一数据块的数据和各个第二数据块的数据;根据读取结果对各个第一数据块和各个第二数据块进行数据比较。
8.根据权利要求1-4任一项所述的方法,其中,所述获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息,包括:
根据层次索引,获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息。
9.根据权利要求8所述的方法,其中,所述方法还包括:
根据各个层次的各个数据块的信息,和,各个数据块形成的各个数据文件的信息,生成所述层次索引。
10.一种数据处理装置,包括:
获取模块,用于获取待进行合并操作的第一层次的多个第一数据块的信息和第二层次的多个第二数据块的信息,其中,所述第一层次的各个数据块具有相同的第一尺寸,所述第二层次的各个数据块具有相同的第二尺寸;
比较模块,用于根据所述多个第一数据块的信息和所述多个第二数据块的信息,对各个第一数据块和各个第二数据块进行数据比较;
合并模块,用于根据比较结果,进行所述第一层次和所述第二层次的数据合并。
11.根据权利要求10所述的装置,其中,所述第二层次为与所述第一层次相邻的高阶层次,所述第二尺寸小于所述第一尺寸。
12.根据权利要求11所述的装置,其中,所述合并模块包括:
确定模块,用于根据所述比较结果,确定所述多个第一数据块和所述多个第二数据块中存在数据重合;
执行模块,用于将存在数据重合的第一数据块合并入重合的第二数据块中,将不存在数据重合的第一数据块复用至所述第二层次。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910462532.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:侧信道分析中的能量轨迹提取方法及系统
- 下一篇:一种流延薄膜制备方法