[发明专利]海量小文件备份方法与云存储网关

说明书

技术领域

本公开涉及云计算领域，特别地，涉及一种海量小文件备份方法与云存储网关。

背景技术

云网关，又称为云存储网关，该设备通常部署在企业数据中心，连接公有云存储和本地存储，将专用云存储接口协议转换为传统存储访问协议。

文件上传至公有云存储的过程需要经过访问权限验证、空间限额验证、数据校验等多个步骤，导致小文件（通常指64KB以下的文件）进行云端存储时额外开销时长占比过高，小文件数量越多备份效率越低。

另外，云存储系统通常采用分布式对象存储架构，对象由元数据和数据组成，对象数据是用户的真实数据，例如，Word、图片及视频等文件，对象元数据是关于数据的组织、数据域及其关系的信息，可以理解为关于数据的数据。每个文件上传至云端存储时，都会生成与之对应的元数据信息并保存至单独的元数据服务器中。海量文件势必将产生庞大的元数据信息，云存储服务中要求元数据和数据分开管理，数据和元数据保存在不同的存储介质上，这样访问一个文件需要经历多次独立的访问，而由于小文件数据内容较少，因此元数据的访问性能对小文件访问性能影响巨大。海量小文件将产生庞大的元数据信息，读写过程造成对元数据频繁操作，服务器资源消耗大，进而影响云存储系统整体性能。

发明内容

本公开鉴于以上问题中的至少一个提出了新的技术方案。

本公开在其一个方面提供了一种海量小文件备份方法，其提升了海量小文件的备份效率。

本公开在其另一方面提供了一种云存储网关，其提升了海量小文件的备份效率。

根据本公开，提供一种海量小文件备份方法，包括：

自用户接口接收用户待上传的文件；

对用户待上传的文件进行分析，判断待上传的文件是否满足预先设定的海量小文件合并策略；

如果满足，则对这些待上传的文件进行合并，并根据这些待上传文件建立索引文件；

将合并后的文件上传至云存储。

在本公开的一些实施例中，索引文件包括每个被合并文件的ID、每个被合并文件的长度以及每个被合并文件在整个合并文件中的偏移量。

在本公开的一些实施例中，该方法还包括：

接收用户对文件的下载请求；

根据索引文件判断待下载文件是否位于合并文件中；

如果在合并文件中，则根据索引文件确定请求下载的文件在合并文件中的偏移量和文件长度；

根据确定的请求下载的文件在合并文件中的偏移量和文件长度自云存储中下载相应文件；

将所下载的文件通过用户接口发送给用户。

在本公开的一些实施例中，海量小文件合并策略包括本次待上传文件的数量门限、待上传文件的大小门限以及小文件在本次所有待上传文件中的占比。

在本公开的一些实施例中，海量小文件合并策略还包括设定文件类型。

根据本公开，还提供了一种云存储网关，包括：

文件接收单元，用于自用户接口接收用户待上传的文件；

合并判断单元，用于对用户待上传的文件进行分析，判断待上传的文件是否满足预先设定的海量小文件合并策略；

合并执行单元，用于如果满足，则对这些待上传的文件进行合并，并根据这些待上传文件建立索引文件；

文件上传单元，用于将合并后的文件上传至云存储。

在本公开的一些实施例中，索引文件包括每个被合并文件的ID、每个被合并文件的长度以及每个被合并文件在整个合并文件中的偏移量。

在本公开的一些实施例中，云存储网关还包括：

请求接收单元，用于接收用户对文件的下载请求；

文件位置判断单元，用于根据索引文件判断待下载文件是否位于合并文件中；

存储位置获取单元，用于如果在合并文件中，则根据索引文件确定请求下载的文件在合并文件中的偏移量和文件长度；

文件下载单元，用于根据确定的请求下载的文件在合并文件中的偏移量和文件长度自云存储中下载相应文件；

文件发送单元，用于将所下载的文件通过用户接口发送给用户。

在本公开的一些实施例中，海量小文件合并策略包括本次待上传文件的数量门限、待上传文件的大小门限以及小文件在本次所有待上传文件中的占比。

在本公开的一些实施例中，海量小文件合并策略还包括设定文件类型。