[发明专利]一种查找数据块的方法及装置

说明书

本发明实施例公开了一种查找数据块的方法及装置，涉及数据检测领域，用以解决现有技术中的多级查找结构中存在大量的数据冗余的问题。该方法包括：获取第一数据块的K级特征指纹；根据K级特征指纹和联合查找结构确定目标索引，根据目标索引确定目标数据块，目标数据块为联合查找结构中包括的M个索引对应的M个第二数据块中、与第一数据块相似级别最高的第二数据块，且目标数据块与第一数据块的相似级别大于0，联合查找结构包括M个对应关系，一个对应关系是指一个第二数据块的特征指纹和该第二数据块的索引的对应关系，每个第二数据块的特征指纹的级别数均大于或等于K，联合查找结构中包含的索引的总个数与第二数据块的总个数相同。

技术领域

本发明实施例涉及数据检测领域，尤其涉及一种查找数据块的方法及装置。

背景技术

数据检测技术广泛应用于互联网、图像识别、大数据分析和数据缩减等技术领域，其中，相同和/或相似数据查找是数据检测技术中的重要环节。目前，基于单一特征指纹的数据查找可以采用查找树、哈希表查找等成熟的查找方法进行查找，由于根据单一特征指纹查找相同数据或相似数据，必然无法提升数据的压缩率，并且在数据缩减领域，经常会出现基于多个特征指纹的数据查找场景，例如，重删delta压缩技术场景，因此，需要部署多级查找结构对相同数据和相似数据进行查找。

目前的多级查找结构如图1所示，图1中所示的多级查找结构为N(N为大于1的整数)级查找结构，一级查找结构为一个查找结构，每个查找结构中包括M(M为大于1的整数)个特征指纹和与M个特征指纹一一对应的M个指针，这M个指针为与M个数据块一一对应的M个指针，数据块的指针用于指向该数据块的地址，如图1所示，Fpn-Bm表示M个数据块中的第m(m为大于0小于等于M的整数)个数据块的第n(n为大于0小于等于N的整数)个特征指纹，I-Bm表示第m个数据块的指针，Bm表示第m个数据块，参见图1可知，由于一个数据块的N个特征指纹各对应一个该数据块的指针，因此，每个查找结构中都需要包括M个指针，存在着大量的冗余数据。

发明内容

本发明的实施例提供了一种查找数据块的方法及装置，用以解决现有技术中的多级查找结构中存在大量的数据冗余的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种查找数据块的方法，包括：获取第一数据块的K级特征指纹，K级特征指纹中的第k级特征指纹的级别高于K级特征指纹中的第k-1级特征指纹的级别，K为大于0的整数，k为大于0小于等于K的整数；根据K级特征指纹和联合查找结构确定目标索引，根据目标索引确定目标数据块，目标数据块为联合查找结构中包括的M个索引对应的M个第二数据块中、与第一数据块相似级别最高的第二数据块，且目标数据块与第一数据块的相似级别大于0，联合查找结构包括M个对应关系，一个对应关系是指一个第二数据块的特征指纹和该第二数据块的索引的对应关系，每个第二数据块的特征指纹的级别数均大于或等于K，联合查找结构中包含的索引的总个数与第二数据块的总个数相同，M为大于0的整数；其中，相似级别用于指示第二数据块与第一数据块的相关度。

第一方面提供的方法可以通过联合查找结构对相同数据或相似数据进行查找，由于联合查找结构中包含的索引的总个数与第二数据块的总个数相同，一个第二数据块的全部的特征指纹对应唯一一个该第二数据块的索引，因此，与现有技术中的方案相比，可以大大的减少数据的冗余。

结合第一方面，在第一种可能的实现方式中，第一数据块和第二数据块的特征指纹包括相似特征指纹，或者，第一数据块和第二数据块的特征指纹包括相似特征指纹和相同特征指纹。