[发明专利]一种数据存储处理方法、查找方法及其装置无效
申请号: | 200910036731.0 | 申请日: | 2009-01-19 |
公开(公告)号: | CN101799783A | 公开(公告)日: | 2010-08-11 |
发明(设计)人: | 孟小峰;饶兴 | 申请(专利权)人: | 中国人民大学;华为技术有限公司 |
主分类号: | G06F12/02 | 分类号: | G06F12/02;G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 处理 方法 查找 及其 装置 | ||
1.一种数据存储处理方法,其特征在于,包括:
将数据以顺序存储的方式写入到闪存中的数据记录区;
将所述数据在所述数据记录区中的物理地址及所述数据的标识形成日志信息,并将所述日志信息以顺序存储的方式写入到闪存中的日志区;
为所述日志区中的日志信息构建布隆过滤器数据,并将所述布隆过滤器数据以顺序存储的方式写入到闪存中日志摘要区。
2.如权利要求1所述的数据存储处理方法,其特征在于,所述将所述数据在所述数据记录区中的物理地址及所述数据的标识形成日志信息,并将所述日志信息以顺序存储的方式写入到闪存中的日志区包括:
将所述数据记录区中的物理地址及所述数据的标识形成日志信息存入内存中的日志缓冲区;
将所述日志缓冲区中的日志信息以顺序存储的方式写入到闪存中的日志区。
3.如权利要求1所述的数据存储处理方法,其特征在于,所述为所述日志区中的日志构建布隆过滤器数据,并将所述布隆过滤器数据以顺序存储的方式写入到闪存中日志摘要区包括:
为所述日志区中的日志信息构建布隆过滤器数据,并将所述布隆过滤器数据存入内存中的日志摘要缓冲区;
将所述日志摘要缓冲区中的布隆过滤器数据以顺序存储的方式写入到闪存中的日志摘要区。
4.如权利要求3所述的数据存储处理方法,其特征在于,所述将所述日志摘要缓冲区中的布隆过滤器数据以顺序存储的方式写入到闪存中的日志摘要区包括:
将所述日志摘要缓冲区的一页中的每个布隆过滤器数据均划分为四段,将每个布隆过滤器数据的第一段到第四段数据以顺序存储的方式分别按列写入到闪存中的日志摘要区的四个物理页中,直到所述四个物理页被写满;
将所述四个物理页中每个物理页包含的每个块再次划分为四段,将每个块的四段数据的第一段到第四段以顺序存储的方式分别按列写入到闪存中的日志摘要区的四个新的物理页中,直到新的物理页再次被写满;依此类推,直到将所述日志摘要缓冲区中一个布隆过滤器数据的每一位分别写入到所述闪存的日志摘要区的不同物理页中。
5.一种数据查找方法,其特征在于,包括:
根据数据的标识查找闪存中的日志摘要区的布隆过滤器数据,并根据查找到的布隆过滤器数据确定数据的标识对应的日志信息在日志区域中的位置;
根据所述确定的位置,在所述日志区域中查找包含所述数据的标识的日志信息,并获得所述日志信息中的物理地址;
以所述物理地址为索引到所述闪存中的数据记录区中的相应物理地址处获取数据。
6.如权利要求5所述的数据查找方法,其特征在于,所述根据数据的标识查找闪存中的日志摘要区的布隆过滤器数据,并根据查找到的布隆过滤器数据确定数据的标识对应的日志信息在日志区域中的位置包括:
利用所述数据的标识及多个哈希函数计算出第二布隆过滤器数据,所述第二布隆过滤器数据包括多个布隆过滤器数据;
遍历所述日志摘要区中的布隆过滤器数据,查找是否存在所述第二布隆过滤器数据指示的位均为1的第一布隆过滤器数据,如果是,则根据所述第一布隆过滤器数据确定出所述数据的标识对应的日志信息在所述日志区域中的位置。
7.如权利要求6所述的数据查找方法,其特征在于,所述遍历所述日志摘要区中的布隆过滤器数据,查找是否存在所述多个布隆过滤器数据指示的位均为1的第一布隆过滤器数据包括:
从不同物理页中依次提取出一个布隆过滤器数据的每一位,当每提取出一位,如果该位为所述第二布隆过滤器指示的位,则判断该位是否为1,如果是继续提取该布隆过滤器数据的下一位;
当遍历完一个布隆过滤器数据,采用相同的方式遍历下一个布隆过滤器数据,直到遍历完所述日志摘要区中的布隆过滤器数据。
8.一种数据存储处理装置,其特征在于,包括:
记录处理单元,用于将数据以顺序存储的方式写入到闪存中的数据记录区;
日志处理单元,用于将所述数据在所述数据记录区中的物理地址及所述数据的标识形成日志信息,并将所述日志信息以顺序存储的方式写入到闪存中的日志区;
日志摘要处理单元,用于为所述日志区中的日志信息构建布隆过滤器数据,并将所述布隆过滤器数据以顺序存储的方式写入到闪存中日志摘要区。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民大学;华为技术有限公司,未经中国人民大学;华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910036731.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种防静电片材
- 下一篇:一种高效率恒流LED驱动器
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置