[发明专利]数据存储方法及设备

说明书

技术领域

本发明涉及数据存储领域，特别涉及数据存储方法及设备。

背景技术

在如今的数据存储领域中，数据量的增长导致了包括硬件成本、维护成 本和人力成本在内的存储系统整体拥有成本(Total Cost of Ownership，TCO) 的增长。减少数据传输、数据存储和数据管理过程中的数据量就成为大规模 分布式存储系统中的一个需求，而重复数据删除技术是一种在文件内部层次 通过无损的数据压缩方法来消除重复数据的技术，在诸如数据归档等应用类 型的存储系统中具有很好的应用价值。

现有的重复数据删除技术主要是：基于比特级，将文件分割成互不交叠 的数据块，然后对内容相同的块在存储系统中只保存一份，一个被保存的数 据块可能属于同一个文件的不同部分，也可能属于多个文件的不同部分。

在对上述现有技术进行实践和研究的过程中，本发明的发明人发现：

按照现有的数据存储方法进行文件的储存后，在查找文件时，系统需要 先对有关的非重复大块进行检索，这些大块随机分布在存储设备中，要逐个 地对文件进行重构，然后检查文件内容是否与要求的查询相匹配，这样会降 低文件搜索效率；除此而外，由于现有技术是基于比特级对文件进行分割， 因此在数据存储的过程中可能把差别很小的两个文件划分为几乎完全不同的 数据块，不能很好的删除重复数据。

发明内容

本发明实施例提供数据存储方法及设备，提高了数据管理和数据检索的 效率。

为实现上述目的，本发明实施例提供了如下方案：

一种数据存储方法，包括：

解析待储存文件，得到所述待储存文件包括的语义信息，所述语义信息 用于指示所述待储存文件的属性信息；

按照所述语义信息，将所述待储存文件分解为至少两个语义数据块；

获取所述语义数据块的内容标识，所述内容标识用于指示所述语义数据 块的内容信息；

存储待储存文件信息与所述内容标识的第一映射关系，所述待储存文件 信息用于标识所述语义数据块的位置；

储存所述语义数据块以及所述内容标识与所述语义数据块的存储位置的 第二映射关系。

一种数据储存设备，包括：

解析模块，用于解析待储存文件，得到所述待储存文件包括的语义信息， 所述语义信息用于指示待储存文件的属性信息；

语义分解模块，用于按照语义信息将待储存文件分解为至少两个语义数 据块；

标识获取模块，用于获取所述语义分解模块分解的语义数据块的内容标 识，所述内容标识用于指示所述语义数据块的内容信息；

第一映射关系存储模块，用于存储待储存文件信息与所述标识获取模块 获取的所述内容标识的第一映射关系，所述待储存文件信息用于标识所述语 义数据块的位置；

数据储存模块，用于储存所述语义分解模块分解的语义数据块；

第二映射关系储存模块，用于储存所述标识获取模块获取的内容标识与 所述语义数据块的存储位置的第二映射关系。

可见，本发明实施例的数据存储方法，通过解析待储存文件，得到所述 待储存文件包括的语义信息，所述语义信息用于指示所述待储存文件的属性 信息，按照所述语义信息，将所述待储存文件分解为至少两个语义数据块， 获取所述语义数据块的内容标识，所述内容标识用于指示所述语义数据块的 内容信息，存储待储存文件信息与所述内容标识的第一映射关系，所述待储 存文件信息用于标识所述语义数据块，储存所述语义数据块以及所述内容标 识与所述语义数据块的存储位置的第二映射关系。这样由于数据是以语义数 据块为单位进行储存的，则在查看文件时，可以查看文件中一部分语义数据 块的数据。采用本发明实施例提供的技术方案，提高了数据管理和数据检索 的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法实施例提供的数据存储方法的流程图；

图2是本发明方法实施例中将语义数据块包装到固定长度的第一对象中 的结构示意图；