[发明专利]数据写入、查询方法和装置

权利要求书

1.一种数据写入方法，其特征在于，所述方法包括：

获取待写入数据文件以及待写入数据文件的行数信息；

根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；

基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；

根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。

2.根据权利要求1所述的方法，其特征在于，所述获取待写入数据文件以及待写入数据文件的行数信息包括：

根据所述待写入数据文件的文件标识获取待写入数据文件的信息；其中，所述待写入文件的信息包括：待写入数据文件的存储地址信息、以及待写入数据文件的行数信息；

根据所述待写入数据文件的存储地址信息将所述待写入数据文件下载至本地。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器包括：

计算预设数值与所述分布式缓存系统的分片数量的比值，根据所述比值确定多个行数取值区间；根据所述待写入数据文件的行数信息确定其所处的行数取值区间，并将与其所处的行数取值区间对应的误判率作为所述布隆过滤器的误判率。

4.根据权利要求1所述的方法，其特征在于，所述基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算包括：

确定所述待写入数据文件中的数据项对应的分片标识；根据所述数据项对应的分片标识和所述待写入数据文件的文件标识生成所述数据项对应的键；对所述数据项对应的键进行哈希运算。

5.根据权利要求4所述的方法，其特征在于，所述确定所述待写入数据文件中的数据项对应的分片标识包括：

遍历所述待写入数据文件，以得到所述待写入数据文件中各个数据项的标识；根据所述数据项的标识、所述分布式缓存系统的分片数量、以及所述待写入数据文件的文件标识确定所述数据项对应的分片标识。

6.一种数据查询方法，其特征在于，所述方法包括：

确定待检测数据项对应的分片标识，根据所述分片标识和目标数据文件的标识获取布隆过滤器；

根据所述布隆过滤器对所述待检测数据项进行哈希运算；

根据所述哈希运算的结果查询分布式缓存系统，以根据查询结果判断所述待检测数据项是否位于所述目标数据文件中。

7.根据权利要求6所述的方法，其特征在于，所述确定待检测数据项对应的分片标识包括：

根据所述待检测数据项的标识、所述分布式缓存系统的分片数量、以及所述目标数据文件的标识确定所述待检测数据项对应的分片标识。

8.根据权利要求6所述的方法，其特征在于，所述根据所述分片标识和所述目标数据文件的标识获取布隆过滤器包括：

根据所述分片标识和所述目标数据文件的标识从本地缓存中获取布隆过滤器；若从本地缓存中获取不到布隆过滤器，则根据所述分片标识和所述目标数据文件的标识从分布式缓存系统中获取布隆过滤器，并将所述布隆过滤器写入本地缓存。

9.一种数据写入装置，其特征在于，所述装置包括：

获取模块，用于获取待写入数据文件以及待写入数据文件的行数信息；

生成模块，用于根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；

哈希运算模块，用于基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；

写入模块，用于根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。