[发明专利]一种文件数据管理方法及相关装置

说明书

本发明公开了一种文件数据管理方法，在接收到目标文件的待写数据后，如果该待写数据的大小小于预设阈值，则将其存储到SATA的同时还要存储到SSD，以使SSD作为该数据的二级缓存，在该数据被读取时，提高了数据的缓存命中率，使要读取的数据在缓存上的概率更高，从而提高数据读取的性能。本发明还提供了一种文件数据管理系统、装置及计算街可读存储介质，同样可以实现上述技术效果。

技术领域

本发明涉及存储技术，更具体地说，涉及一种文件数据管理方法、系统、装置及计算机可读存储介质。

背景技术

随着大数据时代的到来，互联网领域每天产生的数据量越来越大，由此产生了分布式集群技术。通过分布式集群即是，可以使得多台节点上的服务对外同时提供服务，在集群处理海量小文件的场景时，尤其是对小文件读时，由于场景的随机性，读取的数据可能没有在缓存中，而是在底层SATA磁盘中，又由于底层SATA磁盘寻址慢的缺陷，导致度性能非常差。

因此如何提升小文件的读取性能，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种文件数据管理方法、系统、装置及计算机可读存储介质，以解决如何提升小文件的读取性能的问题。

为实现上述目的，本发明实施例提供了如下技术方案：

一种文件数据管理方法，包括：

接收对应目标文件的待写数据；

判断所述待写数据的大小是否大于预设阈值；

若否，则将所述待写数据以文件片段形式添加到SSD中所述目标文件的尾部，并将所述待写数据添加到SATA中的所述目标文件中，以在接收所述待写数据的读请求时，将所述SSD中保存的所述待写数据返回。

其中，所述将所述待写数据以文件片段形式添加到SSD中所述目标文件的尾部，并将所述待写数据添加到SATA中的所述目标文件中，包括：

利用一线程将所述待写数据以文件片段形式追加到SSD中所述目标文件的尾部，并利用另一线程将所述待写数据添加到SATA中的所述目标文件中。

其中，所述方法还包括：

确定所述SSD中预设时间内未被读取过的待删除文件；

将所述待删除文件删除。

其中，所述间隔预设时间确定所述SSD中未被读取过的待删除文件，包括：

将所述SSD中每个文件中预设时间内没有被读取的文件片段确定为可丢弃文件片段；

将所有文件片段均为可丢弃文件片段的文件确定为待删除文件。

其中，所述将所述待写数据以文件片段形式添加到SSD中所述目标文件的尾部之后，还包括：

确定对应所述待写数据的索引信息，将所述索引信息保存至数据库，以在接收所述待写数据的读请求时，利用所述索引信息将所述SSD中保存的所述待写数据返回。

本申请还提供了一种文件数据管理系统，包括：

接收模块，用于接收对应目标文件的待写数据；

判断模块，用于判断所述待写数据的大小是否大于预设阈值；

数据写模块，用于所述待写数据的大小小于或等于预设阈值时，将所述待写数据以文件片段形式添加到SSD中所述目标文件的尾部，并将所述待写数据添加到SATA中的所述目标文件中，以在接收所述待写数据的读请求时，将所述SSD中保存的所述待写数据返回。