[发明专利]文件存储管理方法、文件管理客户端及文件存储管理系统

说明书

本申请公开了一种文件存储管理方法，所述方法包括接收文件上传指令，并根据所述文件上传指令确定目标上传文件；向文件管理服务端发送所述目标上传文件的文件分片列表；其中，所述目标上传文件的文件分片列表包括所述目标上传文件的所有文件分片的分片标识；接收所述文件管理服务端返回的分片存在性检测结果，并根据所述分片存在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目标上传文件分片；将所述目标上传文件分片上传至所述文件管理服务端。本申请能够相同数据的重复性存储，提高数据管理效率。本申请还公开了一种文件管理客户端及一种文件存储管理系统，具有以上有益效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种文件存储管理方法、一种文件管理客户端及一种文件存储管理系统。

背景技术

分布式存储系统可以将数据分散存储在多台独立的设备上，分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。分布式存储系统不但提高了系统的可靠性、可用性和存取效率，还易于扩展。根据存储元数据的不同，分布式存储系统可以包括分布式文件系统、分布式块存储、分布式对象存储、分布式数据库和分布式缓存等，为了分散存储在多台设备上，必然会有分片的概念，文件分片、数据块分片、数据库分片(按表、按时间等)。

分布式文件系统把文件分片存储在多台独立设备上，实际使用中有可能分属于不同文件的分片内容相同的情况，特别是大文件，文件越大这种现象越明显。例如，某一文件修改极小部分，形成了一个新的文件，和原文件具有极大相似度，此时分布式文件系统需要重复存储大量的数据，导致数据管理效率较低。

因此，如何避免相同数据的重复性存储，提高数据管理效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种文件存储管理方法、一种文件管理客户端及一种文件存储管理系统，能够避免相同数据的重复性存储，提高数据管理效率。

为解决上述技术问题，本申请提供一种文件存储管理方法，该文件存储管理方法包括：

接收文件上传指令，并根据所述文件上传指令确定目标上传文件；

向文件管理服务端发送所述目标上传文件的文件分片列表；其中，所述目标上传文件的文件分片列表包括所述目标上传文件的所有文件分片的分片标识；

接收所述文件管理服务端返回的分片存在性检测结果，并根据所述分片存在性检测结果将所述目标上传文件中未上传至所述文件管理服务端的文件分片设置为目标上传文件分片；

将所述目标上传文件分片上传至所述文件管理服务端。

可选的，在所述向文件管理服务端发送所述目标上传文件的文件分片列表之前，还包括：

判断本地文件分片列表库中是否包括所述目标上传文件的文件分片列表；

若是，则获取所述目标上传文件的文件分片列表；

若否，则对所述目标上传文件执行文件分片操作得到多个文件分片，根据所述文件分片对应的文件内容计算每一所述文件分片的分片标识，并构建包括所有所述分片标识的文件分片列表。

可选的，所述根据文件分片对应的文件内容计算每一所述文件分片的分片标识，包括：

根据所述文件分片对应的文件内容分别计算MD5值和SHA1值，将每一所述文件分片的MD5值和SHA1值作为所述分片标识。

可选的，所述文件管理服务端生成所述分片存在性检测结果的过程包括：

将所述目标上传文件的文件分片列表中的分片标识与服务端分片标识库进行对比；

若所述服务端分片标识库包括所述分片标识，则生成第一比对结果；