[发明专利]海量小文件存取优化方法、装置、设备及存储介质

说明书

本发明涉及基架运维领域，公开了一种海量小文件存取优化方法、装置、设备及存储介质。所述海量小文件存取优化方法包括：通过预设的动态划分规则将待存储文件划分到本地磁盘存储池和高速磁盘存储池，其次通过高速磁盘存储池设定磁盘阵列结构，从而提升高速磁盘存储池的性能，随后对本地磁盘存储池中的文件进行读取并生成相应的文件读取记录，最后动态监测该文件读取记录，将读取次数大于预设阈值的文件迁移至高速磁盘存储池中，并在内存中生成对应文件的存储位置记录，当接收到这些迁移文件的读取请求时，根据内存中存储位置记录直接重定向到该文件进行读取，降低了本地磁盘访问的I/O数量，文件读取速度更快，从而提升了本地文件访问性能。

技术领域

本发明涉及基架运维领域，尤其涉及海量小文件存取优化方法、装置、设备及存储介质。

背景技术

当前互联网应用中具有大量的小文件，譬如被分成小段的视频文件，购物网页中的图片，新闻网站的图片等，此外，大型的网站可能存放超过百亿级别的图片，这个数据的存储读取效率成了影响服务性能的关键问题。现实场景中还存在磁盘频繁读取的情况，这将会让磁盘高负荷工作，从而影响磁盘的性能。

针对“磁盘频繁读取而影响磁盘性能”这一现象，现有的性能优化解决方案是通过内存对频繁读取的文件进行缓存，但是这种方法还是基于本地机械磁盘进行文件读取，本地文件访问性能较低。

发明内容

本发明的主要目的在于解决当前海量小文件存取优化方法存在本地文件访问性能较低的问题。

本发明第一方面提供了一种海量小文件存取优化方法，包括：

根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应存储池，所述存储池包括本地磁盘存储池和高速磁盘存储池；

基于磁盘阵列技术为所述高速磁盘存储池设定独立冗余磁盘阵列结构；

获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录；

基于所述文件的读取操作记录，对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输至高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取。

可选的，在本发明第一方面的第一种实现方式中，所述根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应的存储池包括：

获取所有待存储文件预设期望访问频率参数，根据所述期望访问频率参数，将所述待存储文件划分为高频访问文件类和低频访问文件类；

将所述高频访问文件类中的文件顺序写入所述高速磁盘存储池中的存储基元，将所述低频访问文件类中的文件顺序写入所述本地磁盘存储池中的存储基元；

根据所述文件在所述存储基元的起始地址和容量大小，确定所述文件所属的文件组以及文件在该文件组内的序号,所述文件组包含至少两个顺序存储的文件；

以所述文件组的标识号与文件的序号为索引,建立所述索引与文件的文件名之间的对应关系。

可选的，在本发明第一方面的第二种实现方式中，所述获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录包括：

获取文件读取请求，其中,所述文件读取请求中包括待读取文件所处的目标虚拟磁盘分区及所述待读取文件的虚拟逻辑地址；

根据虚拟磁盘分区与物理磁盘分区的映射关系,确定所述目标虚拟磁盘分区对应的目标物理磁盘分区；

根据所述待读取文件的虚拟逻辑地址和所述文件读取请求,在所述目标物理磁盘分区执行相应的文件读取操作。