[发明专利]数据写入、查询方法和装置

说明书

本发明公开了一种数据写入、查询方法和装置，涉及计算机技术领域。其中，数据写入方法包括：获取待写入数据文件以及待写入数据文件的行数信息；根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。通过以上步骤，能够提高数据写入速度，降低数据写入对系统性能的影响，提高用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据写入、查询方法和装置。

背景技术

在很多应用场景中，需要进行数据写入与查询。例如，当针对特定的用户群组进行定向营销信息投放时，需要将该用户群组的数据写入Hbase，在某个用户登录电商平台后，通过查询Hbase判断该用户是否命中该用户群组，如果该用户命中该用户群组，则向该用户定向投放优惠券、广告或者其他营销信息。

在实现本发明的过程中，本发明的发明人发现现有数据写入与查询方案存在以下缺陷：第一、将数据写入Hbase的时间过长，比如，如果用户群组包含2000万个用户标识，则将其写入Hbase大概需要2小时；第二、Hbase接口的QPS(每秒查询率)比较低，在大促时无法满足前台业务的查询需求。

发明内容

有鉴于此，本发明提供了一种数据写入、查询方法和装置，能够提高数据写入、查询速度，降低数据写入、查询对系统性能的影响，提高用户体验。

为实现上述目的，根据本发明的第一个方面，提供了一种数据写入方法。

本发明的数据写入方法包括：获取待写入数据文件以及待写入数据文件的行数信息；根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器；基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算；根据所述哈希运算的结果将所述待写入数据文件写入所述分布式缓存系统。

可选地，所述获取待写入数据文件以及待写入数据文件的行数信息包括：根据所述待写入数据文件的文件标识获取待写入数据文件的信息；其中，所述待写入文件的信息包括：待写入数据文件的存储地址信息、以及待写入数据文件的行数信息；根据所述待写入数据文件的存储地址信息将所述待写入数据文件下载至本地。

可选地，所述根据所述待写入数据文件的行数信息和分布式缓存系统的分片数量信息生成布隆过滤器包括：计算预设数值与所述分布式缓存系统的分片数量的比值，根据所述比值确定多个行数取值区间；根据所述待写入数据文件的行数信息确定其所处的行数取值区间，并将与其所处的行数取值区间对应的误判率作为所述布隆过滤器的误判率。

可选地，所述基于所述布隆过滤器对所述待写入数据文件中的数据项进行哈希运算包括：确定所述待写入数据文件中的数据项对应的分片标识；根据所述数据项对应的分片标识和所述待写入数据文件的文件标识生成所述数据项对应的键；对所述数据项对应的键进行哈希运算。

可选地，所述确定所述待写入数据文件中的数据项对应的分片标识包括：遍历所述待写入数据文件，以得到所述待写入数据文件中各个数据项的标识；根据所述数据项的标识、所述分布式缓存系统的分片数量、以及所述待写入数据文件的文件标识确定所述数据项对应的分片标识。

为实现上述目的，根据本发明的第二个方面，提供了一种数据查询方法。

本发明的数据查询方法包括：确定待检测数据项对应的分片标识，根据所述分片标识和目标数据文件的标识获取布隆过滤器；根据所述布隆过滤器对所述待检测数据项进行哈希运算；根据所述哈希运算的结果查询分布式缓存系统，以根据查询结果判断所述待检测数据项是否位于所述目标数据文件中。

可选地，所述确定待检测数据项对应的分片标识包括：根据所述待检测数据项的标识、所述分布式缓存系统的分片数量、以及所述目标数据文件的标识确定所述待检测数据项对应的分片标识。