[发明专利]一种存储方法和系统

说明书

本发明公开了一种存储方法和系统，包括：在应用层对文件进行操作之前，通过预设的索引节点inode列表获得该文件的预定的存储类型。依据该文件相对应的存储类型对该文件进行相应的处理。通过本发明的方案，能够避免大量随机小文件写入所带来的磁盘频繁寻址、性能低下的问题，提高了写入效率。

技术领域

本发明涉及分布式存储领域，具体涉及一种存储方法和系统。

背景技术

随着网络应用的迅速发展，网络信息数据量越来越大，PB级别的海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能、横向扩展等要求，为满足这些新要求，基于网络的分布式存储系统得到了广泛重视。

当今社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生的数据，往往从几KB到数MB不等，这些数据的大小尺寸参差不齐，应对普通的大文件，传统的文件系统通过高并发可以得到优良的性能，但在处理海量小文件写入时效率会非常低下，这是因为海量小文件往往会带来大量的随机写入，本地写入时会因磁盘频繁寻址极大地降低性能，时下越来越流行的分布式存储由于存在先天的网络延时、多副本设置和元数据写入会使性能降得更低。而如果单纯地考虑小文件性能，又会丢掉大文件处理的优势，两者存在一定的矛盾性。

发明内容

为了解决上述问题，本发明提出了一种存储方法和系统，能够避免大量随机小文件写入所带来的磁盘频繁寻址、性能低下的问题，提高了写入效率。

为了达到上述目的，本发明提出了一种存储方法，该方法包括：

在应用层对文件进行操作之前，通过预设的索引节点inode列表获得该文件的预定的存储类型。

依据该文件相对应的存储类型对该文件进行相应的处理。

优选地，

存储类型包括：以数据库为基础的数据库存储DBStore以及以文件为基础的文件存储FileStore。

优选地，

该方法还包括：通过以下方式预先设置inode列表：

将待操作的不同的文件与不同的inode值一一对应。

将inode值与所对应的文件的存储类型一一对应。

将该文件、inode值以及文件的存储类型之间的对应关系保存在inode列表中，并将inode列表保存在DBStore中。

优选地，

该方法还包括：通过以下方式预先确定待操作的不同的文件的操作类型：

将该文件的大小与预设的阈值进行比较。

当文件的大小小于预设的阈值时，将该文件判定为小文件，并将该小文件确定为DBStore存储类型。

当文件的大小大于或等于预设的阈值时，将该文件判定为大文件，并将该大文件确定为FileStore存储类型。

优选地，

依据文件相对应的存储类型对文件进行相应的处理包括：

在创建操作中，确定待操作的第一文件为DBStore存储类型后，将待操作的文件直接存储到DBStore中；其中，待操作的第一文件为元数据，并且元数据为小文件。

在删除操作中，确定待操作的第二文件为DBStore存储类型后，直接获取待操作的第二文件在DBStore中的位置信息，并将待操作的第二文件从DBStore中删除；其中，待操作的第二文件为元数据，并且元数据为小文件。