[发明专利]一种分布式存储服务器扩容优化方法、装置、终端及介质

说明书

本发明涉及分布式存储服务器扩容方法，具体公开一种分布式存储服务器扩容优化方法、装置、终端及介质，接收待存储文件；获取待存储文件的特征信息；根据特征信息从分布式存储服务器中获取相关文件；比对待存储文件和相关文件的内容；若内容相同，则将相应待存储文件删除；若内容相似，则在相关文件所在存储单元下新建子存储单元，将相应待存储文件存储到新建子存储单元内；若内容不相似，则新建存储单元将相应待存储文件进行存储。本发明对存储的数据进行分析，去除重复的数据，减少数据的存储容量，达到扩容目的，同时减少存储单元的新建，进一步达到扩容的目的，从而减少分布式存储服务器的数量，节约成本，合理利用资源。

技术领域

本发明涉及分布式存储服务器扩容方法，具体涉及一种分布式存储服务器扩容优化方法、装置、终端及介质。

背景技术

分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

现有的分布式存储服务器虽然能存储很多数据，但是很多数据存在重复的现象，存储服务器不能实现自动检索扩容，进而现有的分布式存储器相对于普通的存储服务器能实现扩容，但是扩容的前提下是增加服务器设备成本，从而达到扩容目的，不能实现对存储的文件进行监控处理，去除重复信息，存储未重复信息，避免更多重复垃圾信息占用更多的存储空间。另外，现有的分布式存储服务器在存储数据的时候，不能将相似的文件进行合并存储，而是在每次存储的时候，都将相似或不相似的文件信息均新建个存储单元进行存储，不仅占用空间，而且提高索引压力，也会出现索引类目多的现象。

发明内容

为解决上述问题，本发明提供一种分布式存储服务器扩容优化方法、装置、终端及介质，对存储的数据进行分析，去除重复的数据，减少数据的存储容量，达到扩容目的，同时针对相似的文件采用在相应存储单元下建立子存储单元的形式进行存储，减少存储单元的新建，进一步达到扩容的目的，从而减少分布式存储服务器的数量，节约成本，合理利用资源。

第一方面，本发明的技术方案提供一种分布式存储服务器扩容优化方法，包括以下步骤：

接收待存储文件；

获取待存储文件的特征信息；

根据特征信息从分布式存储服务器中获取相关文件；

比对待存储文件和相关文件的内容；

若内容相同，则将相应待存储文件删除；

若内容相似，则在相关文件所在存储单元下新建子存储单元，将相应待存储文件存储到新建子存储单元内；

若内容不相似，则新建存储单元将相应待存储文件进行存储。

进一步地，获取待存储文件的特征信息，包括：

将批量的待存储文件分解为单一的文件；

针对每个单一的文件，提取到每个字节的信息，所有字节信息组成单一文件的特征信息。

进一步地，根据特征信息从分布式存储服务器中获取相关文件，具体包括：

预存分布式存储服务器中所有已存储文件的特征信息及其路径；

根据待存储文件的特征信息在预存数据中进行检索，获取相关文件的路径；

根据获取的路径从分布式存储服务器中提取到相关文件。

进一步地，该方法具体包括以下步骤：

将内容相似和不相似待存储文件进行重新整理发送给分布式存储服务器，其中发送给分布式存储服务器的待存储文件携带有相关文件的路径；