[发明专利]一种基于实时归并的海量小文件存储性能优化方法及装置

权利要求书

1.一种基于实时归并的海量小文件存储性能优化方法，其特征在于，包括S1：接收客户端发送的文件数据存储请求，将待存储文件通过对象存储的方式分层写入SSD、HDD存储资源池中；

其中，所述待存储文件为大文件时存放到所述HDD存储资源池，所述待存储文件为小文件时存放到所述SSD存储资源池，在文件索引池中存放该文件的元数据信息；根据所述元数据信息生成文件的全局唯一标识key；

S2：设定小文件归并数量的阈值和归并字节总数的阈值，当SSD存储资源池中存放所述小文件的所述归并数量或者所述字节总数超出阈值时，实时触发服务器的文档归并流程，服务器后台提取已有的所述小文件的内容归并成一个大文件，将所述大文件存储至所述HDD存储资源池；

S3：所述小文件归并归档后，根据标识key映射到文件索引池中的元数据信息增加数据定位信息；

S4：更新完所述小文件的所述元数据信息后，删除所述SSD数据池中被归并的所述小文件；

S5：服务器接收客户端发送的所述文件数据访问请求，如果所述元数据信息中不存在所述数据定位信息，则根据所述元数据信息解析出所述标识key，通过所述标识key从所述SSD存储资源池中访问对应的文件内容；如果所述元数据信息存在所述数据定位信息，根据所述数据定位信息从所述HDD存储资源池中找到所述小文件归并后的所述大文件，再从所述大文件中提取所述小文件的文件内容。

2.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S1中包含：所述元数据信息包括文件身份标识号、文件生成的时间节点、文件大小和文件类型中的任意一项或多项。

3.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S1中包含：根据所述待存储文件的所述元数据信息，按“身份标识号+文件生成时间”拼接字符串生成文件的所述标识key。

4.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S1中包含：设置文件的分层字节数的阈值，当所述待存储文件的所述分层字节数大于阈值时，判定所述待存储文件为大文件，否则判定所述待存储文件为小文件。

5.如权利要求4所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，设置文件的所述分层字节数阈值为1M。

6.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S1中包含：根据文件内容生成与所述标识key对应的value；所述标识key的value一一映射，通过所述标识key可直接访问到对应文件内容数据；在所述HDD存储资源池或所述SSD存储资源池存放该文件的文件内容value。

7.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S2中包括，设定所述小文件归并数量的阈值为500个，所述归并字节总数的阈值为100M。

8.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S2中包括，将所述大文件采用EC模式持久化存储至所述HDD存储资源池。

9.如权利要求1所述一种基于实时归并的海量小文件存储性能优化方法，其特征在于，步骤S3中包括，所述数据定位信息包括所述小文件归并后的所述大文件的名称、路径、所述小文件在所述大文件中的位置偏移量和大小中的任意一项或多项。

10.一种基于实时归并的海量小文件存储性能优化装置，其特征在于，包括：

数据请求接收模块：用于接收客户端发送的文件数据写入或者访问请求；

文件数据分层存储模块：根据接收到的待存储文件元数据信息生成唯一身份标识key，以及与key对应的文件内容数据值value；以1M字节数为分界线将文件划分为大文件和小文件，大文件对应的value值写入HDD存储资源池，小文件对应的value值写入SSD存储资源池；

小文件数据归并模块：设定小文件归并流程的触发条件，即小文件数量阈值和小文件字节总数阈值；当SSD存储资源池内的小文件数量或者字节数超出阈值时，会实时触发服务器文档归并流程，将资源池内小文件归并成一个大文件并写入HDD存储资源池；其中小文件归并流程的触发条件中，小文件数量上限阈值不得超过SSD存储资源池的最大并发访问量，小文件字节数上限阈值不得超过SSD存储资源池存储空间大小；

小文件数据更新模块：根据被归并小文件的key值映射到对应元数据，添加数据定位信息，包括文件归并后的大文件的名称、路径、小文件在大文件中的位置偏移量和大小中的任意一项或多项；

小文件原数据删除模块：小文件被归并归档且成功更新元数据信息后，再将其原文件数据从SSD存储资源池删除；

文件数据读取模块：根据数据访问请求信息提出文件元数据信息并生成key，根据key标识从资源池读取文件内容，其中：大文件直接从HDD存储资源池读取；未被归并的小文件直接从SSD存储资源池读取；已被归并的小文件则需根据key映射到该文件在索引池中对应元数据，提取出数据定位信息，找到其被归并的大文件并从中提取相应位置的小文件内容。