[发明专利]一种海量数据的存储方法

权利要求书

1.一种海量数据的存储方法，其特征在于，该方法的具体流程为：

用户请求提交文件时，服务端将接收到的md5值作为索引值，判断文件是否已经存在，如果有相同的md5值存在，对于切片的文件，继续比较md5值，如果已经存在了相同的文件，则更新记录数据块；

如果切片与数据块记录的md5值不同，则将源文件切片和md5值信息上传，服务端更新记录数据块相关信息。

2.根据权利要求1所述的方法，其特征在于，在上述方法中判断文件是否已经存在于存储空间中的判断策略流程具体为：

如果源文件字节大小为size，给定常数m_size作为判断基数，当size小于或者等于m_size时，对整个文件进行md5运算，计算完后将md5值和源文件长度传给服务端；如果源文件字节大小大于m_size，以m_length常数作为计算长度，对源文件头、中、尾三部分的内容计算md5值；将这三个md5和源文件长度连接生成字符串，并计算字符串md5值，将md5值和源文件长度发送给服务端。

3.根据权利要求2所述的方法，其特征在于，md5值与文件名存在首结点中，作为索引文件用，后面连接是结点，是文件的切片指针，索引切片用，这些结点组成完整文件。

4.根据权利要求1所述的方法，其特征在于，用户存储文件后要求取回文件时具体操作流程为：

首先判断文件是否可能存在，如果不存在，则响应文件不存在；

如果要取回的文件存在，在接收服务端发送的数据块，如果客户端要删除文件，服务端还要将块存储的引用次数减1，如果引用次数为0，就删除整个文件所有的信息，客户端接收服务端发送的数据块，按照编号顺序合并得到原始的文件。

5.根据权利要求1所述的方法，其特征在于，在数据存储的过程中为了合理利用存储空间需要淘汰一些过期的数据，具体流程为：

服务端存储数据时，采用两级存储，优先选择SAS硬盘，根据LRU算法，过期数据首先淘汰到SATA硬盘；如果淘汰后空间不足以容纳要存入的数据，那么将一定时间内，访问数次较小的数据淘汰到SATA硬盘；如果SATA硬盘空间不足，要将从SAS淘汰的数据与SATA中的数据比较，首先淘汰出过期数据；如果淘汰过期数据后，空闲空间仍然不足以容纳要存入的数据，则将一定时间内，访问次数较小的数据淘汰掉，并向日志中心发送消息，警告存储空间不足。