[发明专利]一种大文件存储方法

说明书

技术领域

本发明涉及视频存储技术领域，尤其涉及一种大文件存储方法。

背景技术

随着监控系统高清摄像机的发展，相同时长的录像需要存储更大的文件，但同时又必须保证文件的可靠性，目前如Linux的ext3文件系统理论上最大文件能达到4T，但一般在使用时都不能大于2G，因为文件系统在断电等异常的情况下，一旦索引区异常，大文件将丢失更多的数据。

现有的解决方案都没有对监控业务作针对性的优化，只是使用通用的文件系统如XFS，虽然最大文件可以达到9EB，但使用文件系统来存储大文件都如出一辙的无法避免数据异常难恢复的问题。

使用文件系统，一旦索引发生异常，会丢失很多的数据，数据安全性难以保证。

发明内容

有鉴于此，本发明提供一种大文件存储方法。

该方法包括：将大文件映射到至少一个文件系统的至少一个目录下；大文件的索引记录映射后的第一个目录的起始地址、大文件索引自身所在存储区域的地址以及大文件的基本信息；大文件映射后的每个目录下包括若干数据文件。

优选地，所述每个数据文件的大小相同。

优选地，所述目录以链表的方式进行连接，每个目录包含前一个目录的名称，当前目录的名称以及后一个目录的名称。

优选地，大文件映射后的每个目录下还包括所述大文件的备份索引。

优选地，所述大文件的索引相对于其映射的目录独立存储。

优选地，所述大文件索引还包括超级块，其中记录每一个大文件索引信息的占用情况。

相较于现有技术，本发明方案对于大文件的存储安全性更高。

附图说明

图1是本发明实施例方案图。

具体实施方式

请参图1所示的大文件映射方案。一个大文件，比如BigFile1，映射成多个文件系统的多个目录，如C:/下的目录Dir-0-1-2，D:/下的目录Dir-1-2-3，E:/下的目录Dir-2-3-4，F:/下的目录Dir-4-5-0。当然其中几个目录属于同一个文件系统的目录也是可以的，比如目录Dir-0-1-2、目录Dir-1-2-3均属于C:/下的目录。每个目录下的单个数据文件大小固定，比如单个数据文件File1、File2、……FileN的文件大小均为1G。每个目录最多存储数据文件个数受限选择存储的文件系统的类型。当然该大文件映射到一个文件系统的一个目录下也是可以的。如果该大文件的数据量不是特别大，映射到一个文件系统的一个目录后，该目录下最多能存储的数据文件的个数大于等于该大文件拆分后的数据文件的个数，此时就可以映射到一个文件系统的一个目录下。一个大文件的数据存储于多个文件系统的多个目录中，不会因为文件系统的一个目录索引或者一个文件系统的损坏而导致整个文件数据无法读取。

上述例子中的目录Dir-0-1-2中的0表示无效目录，只出现在第一个和最后一个目录，1表示当前目录名称，2表示下一个目录名称；目录Dir-1-2-3中的1表示前一个目录的名称，2表示当前目录的名称、3表示下一个目录的名称；目录Dir-2-3-4和目录Dir-4-5-0中的数字有相同的含义。所以这些目录之间必然是按照图1的方式连接在一起的，即属于链表方式的组织结构。所以目录的名称即确定了数据文件存储的顺序。当然，该种方式的目录名称(以三个数字和“-”组合的方式命名，三个数字分别表示大文件中映射的前一个目录的名称、当前目录名称、下一个目录名称，0表示无效目录，只出现在第一个和最后一个目录，一个大文件所有映射目录以链表的方式连接在一起)属于本发明的一种优选地实施方式，本发明不排除其他实施方式。