[发明专利]数据缓存处理方法、装置以及存储介质

说明书

本公开提供了一种数据缓存处理方法、装置以及存储介质，其中的方法包括：在文件系统中，基于高速存储装置设置一级缓存，基于低速存储装置设置二级缓存；当一级缓存接收到客户端发送的数据请求时，控制一级缓存和/或二级缓存进行与数据请求相对应的操作。本公开的方法、装置以及存储介质，构建分层架构，基于高速存储装置设置一级缓存，基于低速存储装置设置二级缓存；能充分利用高速存储装置的高IOPS、低时延等特点，提升数据读写性能，提高存储效能，也能充分利用低速存储装置，降低实施成本。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据缓存处理方法、装置以及存储介质。

背景技术

目前，文件系统通过本地缓存与数据分块技术来提高数据的读写性能，文件系统可以为FUSE(Filesystem in Userspace，用户空间文件系统)等。由于FUSE的写操作为单线程，如果采用机械硬盘做缓存，对偏向于小块(数据)写操作的应用来说，机械硬盘I/O操作耗时较长，IOPS较小，磁盘利用率较低；对偏向于大块(数据)写操作的应用来说，机械硬盘自身的读写速度容易成为系统性能瓶颈；如果全部采用高速磁盘阵列或SSD等高速设备做缓存，则价格昂贵，成本过高。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种数据缓存处理方法、装置以及存储介质。

根据本公开的一个方面，提供一种数据缓存处理方法，包括：在文件系统中，基于高速存储装置设置一级缓存，基于低速存储装置设置二级缓存；当所述一级缓存接收到客户端发送的数据请求时，控制所述一级缓存和/或所述二级缓存进行与所述数据请求相对应的操作。

可选地，所述数据请求包括：读取数据请求；所述控制所述一级缓存和/或所述二级缓存进行与所述数据请求相对应的操作包括：判断所述一级缓存中是否缓存有与所述读取数据请求相对应的第一数据；如果是，则从所述一级缓存中读取所述第一数据并发送给所述客户端；如果否，则判断所述第一数据是否缓存在所述二级缓存，如果是，则从所述二级缓存中读取所述第一数据并发送给所述客户端，如果否，则从数据存储系统中读取所述第一数据并发送给所述客户端。

可选地，所述数据请求包括：写数据请求；所述控制所述一级缓存和/或所述二级缓存进行与所述数据请求相对应的操作包括：获取预设的数据分块大小，基于所述数据分块大小将与所述写数据请求相对应的第二数据进行分块处理，生成数据块和/或剩余数据块；其中，所述数据块的大小等于所述数据分块大小，所述剩余数据块的大小小于所述数据分块大小；将所述数据块存储在数据存储系统，将所述剩余数据块缓存在所述一级缓存。

可选地，所述将所述剩余数据块缓存在所述一级缓存包括：生成日志文件，将所述剩余数据块存储在所述日志文件中；将所述日志文件缓存在所述一级缓存中。

可选地，如果确定所述一级缓存的剩余容量小于预设的第一容量阈值，则获取所述一级缓存中的全部日志文件；获取所述全部日志文件中的剩余数据块并进行合并处理，生成第三数据；将所述第三数据缓存在所述二级缓存。

可选地，如果确定所述二级缓存的剩余容量小于预设的第二容量阈值，则获取所述二级缓存中的全部第三数据；将所述全部第三数据存储在所述数据存储系统。

可选地，所述文件系统包括：基于FUSE框架的文件系统；所述高速存储装置包括：磁盘阵列、SSD；所述低速存储装置包括：机械硬盘。

根据本公开的另一方面，提供一种数据缓存处理装置，包括：缓存设置模块，用于在文件系统中，基于高速存储装置设置一级缓存，基于低速存储装置设置二级缓存；数据处理模块，用于当所述一级缓存接收到客户端发送的数据请求时，控制所述一级缓存和/或所述二级缓存进行与所述数据请求相对应的操作。