[发明专利]一种缓存方法、装置及可读存储介质

说明书

本申请公开了一种缓存方法、装置及可读存储介质，涉及电子信息领域。本申请所提供的缓存方法，通过对待缓存文件中的文件大小进行统计及判断，从而计算得出本次的缓存文件是否为多个小文件的缓存方式，当为多个小文件进行缓存时，合理调整缓存空间的大小，且通过访问频次对已缓存文件进行特征值的计算，比起之前的仅仅对文件进行缓存而不进行相应调整，本方案所给出的缓存方法当为多个小文件进行缓存时，即合理增大缓存空间，防止由于缓存空间不足所导致的信息堵塞，当为大文件较多时则设置为默认值不进行调整，有效节省了缓存资源，且通过根据缓存文件热度生成特征值，当缓存空间不足时，优先将缓存文件中不经常访问的文件进行淘汰。

技术领域

本申请涉及电子信息领域，特别是涉及一种缓存方法、装置及可读存储介质。

背景技术

近年来，随着信息技术的发展，数据流量在当今社会中越来越大，每个服务器所需要处理的数据也越来越多，分布式存储系统应运而生，该系统本质是将大量的文件，均匀分布到多个存储服务器上。分布式存储系统已经普遍应用于生成环境中，具有高扩展性，高可用性，高可靠性的特点，与此同时，分布式对象存储系统能够应用于多种场景，在商业化模式的推动下，对分布式存储系统的性能要求越来越高。

当前的分布式存储系统对文件进行存储通常是将文件预读到缓存中，例如固态硬盘(Solid State Drives，SSD)或内存存储介质中，以高速存储介质换取存储IO性能，该方案仅仅是对文件进行缓存，而未进行进一步，考虑到由于缓存文件大小的原因，相同大小的文件，若分为多个小文件所需的缓存空间大于单个大文件，而上述方案仅仅是对文件进行缓存，而未针对缓存空间进行进一步的，若缓存空间设置太小，则容易造成缓存命中率过低，从而导致元数据集群会频繁fetch提取目录内容信息，造成元数据集群的请求阻塞，进而导致存储IO性能下降，若缓存空间设置过大，则会造成空间资源的浪费，且对于缓存空间不足时，要将部分已缓存文件进行淘汰的情况，未进行合理，可能导致淘汰的缓存文件为常用的缓存文件的情况。

鉴于上述技术，寻找一种能够充分利用缓存空间的缓存方法是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种缓存方法，以便于解决当前分布式存储系统的缓存空间分配不合理的问题。

为解决上述技术问题，本申请提供一种缓存方法，应用于分布式存储系统，包括：

获取待缓存文件；

统计所述待缓存文件中的文件大小，并确定所述待缓存文件中，低于预设大小的文件数量；

若所述低于预设大小的文件数量小于或等于预设标准，则将所述待缓存文件的缓存空间大小设置为默认值；

若所述低于预设大小的文件数量大于预设标准，则将所述待缓存文件的缓存空间大小设置为预设值，所述预设值大于所述默认值；

将所述待缓存文件缓存至所述缓存空间；

根据所述缓存空间中的各缓存文件的热度生成特征值，所述特征值与各所述缓存文件的热度正相关。

优选地，根据所述缓存空间中的各缓存文件的热度生成特征值包括：

根据各所述缓存文件的元数据大小，数据大小以及访问频次，迭代生成各所述缓存文件的特征值。

优选地，所述方法还包括：

根据所述预设值或默认值确定缓存上限；

判断当前全部所述缓存文件的大小是否超过所述缓存上限；

若是，根据所述特征值删除特征值最低的所述缓存文件，并返回判断当前全部所述缓存文件的特征值是否超过所述缓存上限的步骤。

优选地，所述方法还包括：