[发明专利]一种数据记录方法及装置

说明书

本发明公开了一种数据记录方法及装置，包括：获取待记录数据；确定待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置；根据第一待记录位置对应的第一数组的重定位次数和第二待记录位置对应的第二数组的重定位次数，在第一待记录位置和第二待记录位置中确定待记录数据的记录位置；重定位次数用于指示数组中记录的数据发生替换的次数；第一数组和第二数组为第i布谷鸟过滤器中不同维的数组；将待记录数据的指纹信息记录至记录位置。以此提高布谷鸟过滤器记录数据的均衡性，控制布谷鸟过滤器中重定位操作的次数，提高数据记录效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据记录方法及装置。

背景技术

随着大数据应用的蓬勃发展，数据集合表示(Set Representation)成为一个重要的问题。其中，数据集合表示是指通过某种数据结构将集合中的元素存储起来，以使在进行元素判定时，确定待判定元素是否记录在该数据集合中。

现有技术中，数据记录方法一般包括一下三种方法：

1、哈希编码：通过键值对的方式，将各待记录数据的完整信息进行记录；

2、BF(Bloom Filter，布隆过滤器)：通过布隆过滤器中各数组值记录待记录数据；

3、DCF(Dynamic Cuckoo Filter，动态布谷鸟过滤器)：通过布谷鸟过滤器中各数组值记录待记录数据。

但上述方法1中需要记录各待记录数据的完整信息，空间开销大，空间效率低；上述方法2中不支持将已记录的数据删除，无法实现动态应用数据集合表示；上述方法3中，布谷鸟过滤器的任一数组位置无法记录多个待记录数据，即仅能记录单个待记录数据，需要通过多次重定位操作将多个待记录数据记录在不同的数组位置中，计算开销大，记录耗时长、效率低。

发明内容

本发明实施例提供一种数据记录方法及装置，用于提高布谷鸟过滤器记录数据的均衡性，减少布谷鸟过滤器中重定位操作的次数，降低数据记录耗时，提高数据记录效率。

第一方面，本发明实施例提供一种数据记录方法，包括：

获取待记录数据；

确定所述待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置；

根据所述第一待记录位置对应的第一数组的重定位次数和所述第二待记录位置对应的第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置；所述重定位次数用于指示数组中记录的数据发生替换的次数；所述第一数组和所述第二数组为所述第i布谷鸟过滤器中不同维的数组；

将所述待记录数据的指纹信息记录至所述记录位置。

上述技术方案中，通过第一数组的重定位次数和第二数组的重定位次数在第一待记录位置和第二待记录位置中确定待记录数据的记录位置，以此提高布谷鸟过滤器记录数据的均衡性，控制布谷鸟过滤器中重定位操作的次数，进而控制重定位操作的计算开销，提高数据记录效率。

可选的，确定所述待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置之后，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置之前，还包括：

确定在所述第一待记录位置和所述第二待记录位置中均已记录数据。

上述技术方案中，根据第一待记录位置和第二待记录位置中是否已记录数据来区分不同的场景，进而提升记录数据的灵活性。

可选的，根据所述第一待记录位置对应的第一数组的重定位次数和所述第二待记录位置对应的第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置，包括：