[发明专利]重复数据删除性能测试方法和装置有效
申请号: | 201410002975.8 | 申请日: | 2014-01-03 |
公开(公告)号: | CN103744783A | 公开(公告)日: | 2014-04-23 |
发明(设计)人: | 许德智;于传帅;张程伟 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F12/02 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 刘芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 重复 数据 删除 性能 测试 方法 装置 | ||
技术领域
本发明实施例涉及数据存储技术,尤其涉及一种重复数据删除性能测试方法和装置。
背景技术
数据缩减是目前存储领域非常流行的技术,重复数据删除(以下简称重删)是数据缩减技术中的重要技术之一,应用重复数据删除技术的数据存储系统可以将一个数据文件中多段重复的数据仅存储一段,仅将其它重复数据段的起始位置和长度记录下来,这样可以大大缩减存储数据文件所需的存储空间。重删性能的优劣对数据存储系统的数据读写速度将产生影响。
为了对数据存储系统的重删性能进行测试,现有技术采用生成一个随机的数据文件,并通过修改一定比例的一组文件内容来构造系统重删率,然后将数据写入数据存储系统来对数据存储系统的重删性能进行测试。但上述方法仅能构造一定的系统重删率,而对影响数据存储系统的重删性能的其他参数都无法控制,并且在测试过程中,前后写入的数据差异较大,对重删性能的测试是不稳定的。
发明内容
本发明实施例提供一种重复数据删除性能测试方法和装置,用于稳定地测试数据存储系统的重删性能。
第一方面提供一种重复数据删除性能测试方法,包括:
按指定分布选取存储样本数据的内存空间中m个连续内存块中的数据,每一内存块的大小为a;
根据所述样本数据的修改记录比特图,将所述m个连续的内存块中的数据分别加上各自内存块的修改次数;
将所述m个连续的内存块中的m/k个内存块中的数据加1,生成待发送的数据,并在所述样本数据的修改记录比特图中所述m/k个内存块对应的位置加1,k为重删率;
将所述待发送的数据发送至待测试存储系统;
统计所述待发送的数据的发送速率,以得到所述待测试存储系统的重复数据删除性能测试结果。
在第一方面第一种可能的实现方式中,所述按指定分布选取存储样本数据的内存空间中m个连续内存块中的数据之前,还包括:
申请存储空间大小为M的内存空间;
将所述存储空间大小为M的内存空间平均分割为大小为a的内存块,并在每一内存块中存入指定压缩率的随机数据;
将每一所述内存块中位置相同的n个比特中的数据扩展为扩展序列,以将每个大小为a的内存块中存储的数据扩展为大小为2n×a的样本数据,所述大小为M的内存空间共生成大小为2n×M的样本数据;
所述按指定分布选取存储样本数据的内存空间中m个连续内存块中的数据,每一内存块的大小为a,包括:
按指定分布选取所述大小为2n×M的样本数据中m个连续内存块中的数据。
结合第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述将每一所述内存块中位置相同的n个比特中的数据扩展为存储扩展序列,以将每个大小为a的内存块中存储的数据扩展为大小为2n×a的样本数据,所述大小为M的内存空间共生成大小为2n×M的样本数据,包括:
将每一所述内存块中最高位的n个比特中的数据扩展为扩展序列,以将每个大小为a的内存块中存储的数据扩展为大小为2n×a的样本数据,所述大小为M的内存空间共生成大小为2n×M的样本数据。
结合第一方面至第一方面第二种可能的实现方式中任一种可能的实现方式,在第三种可能的实现方式中,所述根据所述样本数据的修改记录比特图,将所述m个连续的内存块中的数据分别加上各自内存块的修改次数,包括:
根据所述样本数据的修改记录比特图,将所述m个连续的内存块中最低位的t个比特中的数据分别加上各自内存块的修改次数;
所述将所述m个连续的内存块中的m/k个内存块中的数据加1,生成待发送的数据,并在所述样本数据的修改记录比特图中所述m/k个内存块对应的位置加1,k为重删率,包括:
将所述m个连续的内存块中的m/k个内存块中最低位的t个比特中的数据加1,生成待发送的数据,并在所述样本数据的修改记录比特图中所述m/k个内存块对应的位置加1,k为重删率。
结合第一方面至第一方面第三种可能的实现方式中任一种可能的实现方式,在第四种可能的实现方式中,所述方法还包括:
生成所述修改记录比特图,所述修改记录比特图用以记录所述大小为M的存储空间中每一内存块的修改次数。
结合第一方面至第一方面第四种可能的实现方式中任一种可能的实现方式,在第五种可能的实现方式中,所述指定分布包括帕累托Pareto分布或随机分布。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410002975.8/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置