[发明专利]海量小文件存取优化方法、装置、设备及存储介质

权利要求书

1.一种海量小文件存取优化方法，其特征在于，所述海量小文件存取优化方法包括：

根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应存储池，所述存储池包括本地磁盘存储池和高速磁盘存储池；

基于磁盘阵列技术为所述高速磁盘存储池设定独立冗余磁盘阵列结构；

获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录；

基于所述文件的读取操作记录，对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输至高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取。

2.根据权利要求1所述的海量小文件存取优化方法，其特征在于，所述根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应的存储池包括：

获取所有待存储文件预设期望访问频率参数，根据所述期望访问频率参数，将所述待存储文件划分为高频访问文件类和低频访问文件类；

将所述高频访问文件类中的文件顺序写入所述高速磁盘存储池中的存储基元，将所述低频访问文件类中的文件顺序写入所述本地磁盘存储池中的存储基元；

根据所述文件在所述存储基元的起始地址和容量大小，确定所述文件所属的文件组以及文件在该文件组内的序号,所述文件组包含至少两个顺序存储的文件；

以所述文件组的标识号与文件的序号为索引,建立所述索引与文件的文件名之间的对应关系。

3.根据权利要求1所述的海量小文件存取优化方法，其特征在于，所述获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录包括：

获取文件读取请求，其中,所述文件读取请求中包括待读取文件所处的目标虚拟磁盘分区及所述待读取文件的虚拟逻辑地址；

根据虚拟磁盘分区与物理磁盘分区的映射关系,确定所述目标虚拟磁盘分区对应的目标物理磁盘分区；

根据所述待读取文件的虚拟逻辑地址和所述文件读取请求,在所述目标物理磁盘分区执行相应的文件读取操作。

4.根据权利要求1-3中任一项所述的海量小文件存取优化方法，其特征在于，所述基于所述文件的读取操作记录对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输到高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取包括：

从所述文件的读取操作记录中，获取所述本地磁盘存储池中所有文件在预设时间段内的读取次数；

若所述读取次数大于预设第一阈值，则将读取次数大于所述第一阈值的文件传输至所述高速磁盘存储池中，并在内存中生成该读取的文件在高速磁盘存储池中的存储位置记录；

当再次读取所述读取次数大于所述第一阈值的文件时，根据所述读取次数大于所述第一阈值的文件在高速磁盘存储池中的存储位置记录，直接重定向至对应的文件进行读取。

5.根据权利要求3所述的海量小文件存取优化方法，其特征在于，在所述根据所述待读取文件的虚拟逻辑地址和所述文件读取请求,在所述目标物理磁盘分区执行相应的文件读取操作之后，还包括：

获取所述高速磁盘存储池中的每个文件的访问频率；

判断各文件的访问频率是否小于阈值；

若所述访问频率小于预置阈值，则删除访问频率小于阈值对应的文件。

6.根据权利要求4所述的海量小文件存取优化方法，其特征在于，在当再次读取所述读取次数大于所述第一阈值的文件时，根据所述读取次数大于所述第一阈值的文件在高速磁盘存储池中的存储位置记录，直接重定向至对应的文件进行读取之后，还包括：

接收文件覆盖写请求；

根据所述覆盖写请求，确定待覆盖的文件以及所述待覆盖的文件在内存中的存储位置记录；

删除内存中所述待覆盖的文件的存储位置记录；

从高速磁盘存储池中删除所述待覆盖的文件并写入新的文件。