[发明专利]基于布隆过滤器的数据查询系统

说明书

本发明涉及一种基于布隆过滤器的数据查询系统，包括代理层、第一查询通道、第二查询通道，其中，所述代理层分别与所述第一查询通道和第二查询通道连接，用于接收客户端发送的数据查询请求并根据预设的查询策略分发所述数据查询请求，以及接收所述第一查询通道返回的第一查询结果和/或所述第二查询通道返回的第二查询结果，并基于所述查询策略、所述第一查询结果和/或第二查询结果向所述客户端反馈查询结果；所述第一查询通道包括缓存层和持久化层；所述第二查询通道包括布隆过滤器层。本发明能够在不修改原始数据库架构代码的前提下增设布隆过滤器层，且能提高数据查询的效率。

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于布隆过滤器的数据查询系统。

背景技术

现有数据库架构中，通常采用多层的缓存机制，将可靠性高、速度慢、容量大的数据库作为数据持久化层；将可靠性低、速度快、容量小的数据库作为数据缓存层。在缓存层中仅存储热点数据，在持久化层则存储全量数据。当执行数据查询任务时，例如按关键字(Key)查询，先查询速度较快的缓存层，若能查到对应的值(Value)，则该次查询任务成功，反之则需要到持久化层再查询一次，即发生了缓存穿透现象。发生缓存穿透时查询任务的执行时间会较长，数据查询效率低。

为了获得更小的缓存穿透率，现有技术通常在数据库架构中增加布隆过滤器层来拦截大部分全量数据中不存在的Key的查询请求。但是，对于已经设计好的数据库架构，需要修改代码才能增加布隆过滤器层，而修改代码会带来漏洞风险。此外，当数据库中的数据量较大时，对应的布隆过滤器层会占用大量的内存，造成存储过滤器的单机服务器的压力较大，依然会影响到数据查询的效率。因此，如何在不修改原始数据库架构代码的前提下增设布隆过滤器层，提高数据查询的效率成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于布隆过滤器的数据查询系统，能够在不修改原始数据库架构代码的前提下增设布隆过滤器层，且能提高数据查询的效率。

根据本发明第一方面，提供了一种基于布隆过滤器的数据查询系统，包括代理层、第一查询通道、第二查询通道，其中，

所述代理层分别与所述第一查询通道和第二查询通道连接，用于接收客户端发送的数据查询请求并根据预设的查询策略分发所述数据查询请求，以及接收所述第一查询通道返回的第一查询结果和/或所述第二查询通道返回的第二查询结果，并基于所述查询策略、所述第一查询结果和/或第二查询结果向所述客户端反馈查询结果；

所述第一查询通道包括缓存层和持久化层，所述缓存层中存储有热点数据，所述持久化层中存储有全量数据，若所述第一查询通道查询到所述查询请求对应的结果，则将所述对应的结果返回至所述代理层，否则，向代理层返回空查询结果；

所述第二查询通道包括布隆过滤器层，所述布隆过滤器层中存储有所述全量数据，若所述第二查询通道确定所述数据查询请求对应的数据不存在全量数据集中，则向所述代理层返回“False”,否则，向所述代理层返回“True”。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于布隆过滤器的数据查询系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明通过单独设置代理层以及布隆过滤器层，连接至已经设计好的数据库架构中，无需更改原有的数据库代码，避免了更改代码出现漏洞的风险。通过在代理层设置不同的查询策略，动态调整数据查询的方式，能够基于数据查询的特征动态调整查询策略，提高了数据查询的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的布隆过滤器的数据查询系统示意图。

具体实施方式