[发明专利]数据缓存及读取方法、数据存取系统

说明书

本公开涉及一种数据缓存及读取方法、数据存取系统。客户端向数据存储系统发送第一请求，以获取目标数据的元数据。客户端向数据缓存系统发送第二请求，第二请求包括元数据。数据缓存系统基于元数据判断是否缓存有与数据存储系统所存储的目标数据一致的缓存目标数据。在判定缓存有一致的缓存目标数据的情况下，客户端从数据缓存系统获取目标数据。在判定未缓存一致的缓存目标数据的情况下，客户端从数据存储系统获取目标数据，并将所获取的目标数据发送给数据缓存系统，以便缓存该目标数据。由此，能够方便快捷而又实时准确地判断数据缓存系统所缓存的数据与数据存储系统中存储的相应数据是否一致，从而最终确保客户端所获取的数据的准确性。

技术领域

本公开涉及数据缓存技术，特别涉及数据的缓存及读取。

背景技术

近年来，在大数据分析场景中，云上对象存储服务被不断深入地使用。当大规模分布式分析服务读取云上对象存储服务中的数据时，大量热点数据占用了对象存储服务提供的大部分带宽，导致集群整体利用率不高。

因此，利用集群空闲存储空间建立分布式缓存系统来提高数据读取的效率，以加速对象存储服务上的大数据分析，从成本和效率上看都是一种理想的方案。

然而，大数据分析的强一致性、高性能和高可用性的要求对数据缓存系统的整体设计、性能指标等各方面都带来了巨大的挑战。

图1示意性地示出了现有一种缓存系统Alluxio的架构。

Alluxio是计算服务和底层文件(对象)存储之间的一个抽象文件缓存系统，主要提供对底层文件存储的缓存能力。

当计算服务要使用Alluxio读取对象存储服务中的文件时，需要先通过Alluxio服务获取文件元数据。

在步骤S1，计算服务的客户端基于数据缓存服务维护的文件名，例如“alluxio:///mount_path/directory/file1”，向数据缓存服务的主机发送数据请求。

Alluxio内部主要通过底层文件的文件名+更新时间来建立对象存储服务系统的文件和数据缓存服务系统的文件之间的索引关系。即，如图1所示，对应存储数据缓存服务维护的文件名和其所对应的对象存储服务系统的文件的文件名及文件更新时间。

在步骤S2，数据缓存服务系统的主机向对象存储服务系统请求对应底层文件（“oss://bucket/directory/file1”）的更新时间，并在步骤S3接收对象存储服务系统返回的底层文件更新时间信息。

然后，主机对从对象存储服务系统接收到的更新时间和数据缓存服务系统记录的文件更新时间进行对比，判断更新时间是否一致，从而判断数据缓存服务系统缓存的文件与对象存储服务系统存储的数据是否一致。

无论是否存在与所请求的底层文件一致的缓存文件，都需要再次连接指定的工作机（Alluxio Worker）节点。工作机将数据缓存为以默认64M的尺寸进行存储，然后再响应计算服务的读取请求。

主机在步骤S4向计算服务的客户端通知所指定的工作机。

在步骤S5，客户端向工作机请求获取数据。

在存在与所请求的底层文件一致的缓存文件的情况下，工作机在步骤S8直接向客户端发送缓存数据（或缓存文件）。

在不存在与所请求的底层文件一致的缓存文件的情况下，工作机在步骤S6向对象存储服务系统请求该底层文件的数据，并在步骤S7接收来自对象存储服务系统的数据，将其缓存。然后在步骤S8，向客户端发送缓存数据（或缓存文件）。