[发明专利]一种去重数据的生成方法及装置

说明书

本发明公开了一种去重数据的生成方法及装置。其中，所述方法包括：系在已排序的B树中,根据所述B树的结构定位满足初始条件的第一行数据，并取出所述第一行数据；根据取出的第一行数据生成查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；返回根据取出的第一行数据生成查找键值，直至所述B树中没有大于所述查找键值的数据；根据取出的第一行数据生成去重数据。可以利用已排序B树的结构特征定位非重复数据，无需遍历B树结构中的所有行数据。能够减少处理的数据量，进而减少去重处理时间。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种去重数据的生成方法及装置。

背景技术

数据去重是一种用于消除冗余数据的数据压缩技术。在典型的去重过程中，将第一数据与存储数据进行比较以检测副本，即，识别或确定第一数据是否唯一。然后，当第一数据被识别为不唯一时，冗余的第一数据被消除且替换成指向存储数据的小的引用。

目前，数据去重可以采用如下算法：首先获取第一行数据放在临时缓存区中；步骤二：有一行新的数据时，新行与缓存区中的数据一一比较，找到相同的数据，那么此行新数据可以丢弃；如果没有找到，那么将新行数据放入缓冲区；步骤三：尝试获取新的数据，如果有重复，则重复步骤二。否则，缓冲区中的数据就是去重后的数据。

上述算法存在如下问题：如果无重复的数据很大，则需要很大的临时空间存放集合。此外需要遍历所有待处理的数据，如果待处理的数据很多，则采用该方法会非常耗时。

另外一种算法则是事先对数据进行排序。对排序后的数据去重：首先第一行数据可以直接输出，保留这行数据；第二步：获取一个新行，如果新行与保留的行相同，那么新行抛弃；如果新行与保留行不同，那么输出新行，并且保留新行设置为保留行；第三步：尝试获取新行，如果有重复第二步，否则去重操作结束。该算法的优点是不需要很大的临时空间，但是还是需要遍历所有待处理的数据。同样非常耗时。

发明内容

本发明实施例提供了一种去重数据的生成方法及装置，以解决现有技术中对数据进行去重需要遍历所有待处理数据的技术问题。

第一方面，本发明实施例提供了一种去重数据的生成方法，包括：

在已排序的B树中,根据所述B树的结构定位满足初始条件的第一行数据，并取出所述第一行数据；

根据取出的第一行数据生成查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；

返回根据取出的第一行数据生成查找键值，直至所述B树中没有大于所述查找键值的数据；

根据取出的第一行数据生成去重数据。

第二方面，本发明实施例还提供了一种去重数据的生成装置，包括：

起始定位模块，用于在已排序的B树中,根据所述B树的结构定位满足筛选条件中起始条件的第一行数据，并取出所述第一行数据；

中间定位模块，用于根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述查找键值的第一行数据，并取出所述第一行数据；

循环定位模块，用于返回执行根据取出的第一行数据的键值生成新的查找键值，并根据所述B树的结构定位到大于所述新的查找键值的第一行数据，并取出所述第一行数据的操作，直至所述新的查找键值大于筛选条件中终止条件对应的键值；

生成模块，用于根据所有取出的第一行数据生成去重数据。