[发明专利]一种数据读取方法、装置、缓存代理服务器及存储介质

说明书

本申请提供了一种数据读取方法、装置、缓存代理服务器以及存储介质，应用于消息系统集群包括的多个缓存代理服务器中的任一缓存代理服务器，缓存代理服务器的高速缓存存储单元包括块高速缓存存储单元和页面高速缓存存储单元，方法包括：接收数据写入单元发送的针对目标数据的数据写入请求；响应于数据写入请求，将目标数据缓存到块高速缓存存储单元中；按照先进先出策略对块高速缓存存储单元中缓存的数据进行管理；接收数据读取单元发送的针对目标数据的数据读取请求。本申请能有效的避免块高速缓存存储单元或者页面高速缓存存储单元被污染，从而提高了高速缓存存储单元命中率以及有效高速缓存存储单元的比率，进而提高数据读写性能。

技术领域

本申请涉及数据处理领域，特别是涉及一种数据读取方法、装置、缓存代理服务器及存储介质。

背景技术

当今社会中存在各种应用系统，例如商业处理软件、社交软件、搜索浏览器等，像信息工厂一样不断产生大量数据。为了收集以及分析各种应用系统产生的大量数据，出现了各种各样的消息系统，例如，web消息系统、java消息系统、基于发布/订阅的消息系统(kafka系统)等。

其中，部分消息系统的读写性能较差。以kafka系统为例，在生产者(producer)发布消息或消费者(consumer)消费消息时，需要依赖于页面高速缓存存储器管理技术(即page cache管理技术)，而现有技术中的pagecache管理技术的数据的读写性能较差，因此，如何进行高速缓存存储单元(cache)管理以提高读写性能，是需要解决的问题。

发明内容

本申请提供一种数据读取方法、装置、缓存代理服务器及存储介质，以解决上述提到的问题。

本申请第一方面提供一种数据读取方法，具体如下：

一种数据读取方法，应用于消息系统集群包括的多个缓存代理服务器中的任一缓存代理服务器，所述缓存代理服务器的高速缓存存储单元包括块高速缓存存储单元和页面高速缓存存储单元，所述方法包括：

接收数据写入单元发送的针对目标数据的数据写入请求；

响应于所述数据写入请求，将所述目标数据缓存到所述块高速缓存存储单元中；

按照先进先出策略对所述块高速缓存存储单元中缓存的数据进行管理；接收数据读取单元发送的针对所述目标数据的数据读取请求；

响应于所述数据读取请求，查询所述块高速缓存存储单元中是否缓存有所述目标数据；

在所述块高速缓存存储单元中缓存有所述目标数据的情况下，从所述块高速缓存存储单元中读取所述目标数据；

在所述块高速缓存存储单元中未缓存所述目标数据的情况下，从所述页面高速缓存存储单元中或从所述缓存代理服务器的磁盘中读取所述目标数据；

将读取到的所述目标数据返回给所述数据读取单元。

进一步地，所述块高速缓存存储单元包括多个块高速缓存存储子单元，每个块高速缓存存储子单元用于缓存数据写入单元请求写入的数据，以及所缓存的数据的索引数据；

响应于所述数据读取请求，查询所述块高速缓存存储单元中是否缓存有所述目标数据，包括：

响应于所述数据读取请求，提取所述数据索引请求中携带的所述目标数据的偏移量；

根据所述目标数据的偏移量，查询所述多个块高速缓存存储子单元中是否缓存有所述目标数据的索引数据；

在所述块高速缓存存储单元中缓存有所述目标数据的情况下，从所述块高速缓存存储单元中读取所述目标数据，包括：

在所述多个块高速缓存存储子单元中缓存有所述目标数据的索引数据的情况下，读取所述目标数据的索引数据；