[发明专利]实时流文件的处理方法、装置、介质及电子设备

说明书

本申请实施例公开了一种实时流文件的处理方法、装置、介质及电子设备。该方法包括：针对不同来源的流文件，对存储空间划分成至少两个可用空间；针对所述可用空间进行数据区和元数据区的布局，以使各可用空间单独管理所布局的数据区和元数据区。通过执行本技术方案，通过对存储空间划分，且每个可用空间分别布局数据区和元数据区，并分别进行分块处理，为数据读取的结构性提供保证，有利于对监控数据流文件的读写和对存储流文件空间的控制，实现有效提升读写性能及存储扩展性的效果。

技术领域

本申请实施例涉及数据存储技术领域，尤其涉及一种实时流文件的处理方法、装置、介质及电子设备。

背景技术

目前，科技迅速发展，人们对安防水平的要求也越来越高。在楼宇、街道以及各种公众场所都会安装有用于安防的摄像头以获取监控数据。

安防监控数据以实时流为主，这不同于一般的文件存储。一般的文件大小固定，而实时流只有一帧一帧的数据。监控实时流具有流量大，并发高的特点，而且由于网络、硬件等原因，实时流可能会频繁中断，同时也要快速检索读取及删除存储设备上的流数据，读写次数比较多。因此，一种实时流文件的处理方案亟待产生。

发明内容

本申请实施例提供一种实时流文件的处理方法、装置、介质及电子设备，通过对存储空间划分成多个可用空间，每个可用空间分别布局数据区和元数据区，并对数据区和元数据区进行分块处理，在空间结构上面，为数据读取的结构性提供保证，有利于对监控数据流文件的读写，并且对存储流文件的空间大小可以根据需求进行控制，而且通过动态哈希树形结构的目录可以减少读写次数，实现有效提升读写性能及存储扩展性的效果。

第一方面，本申请实施例提供了一种实时流文件的处理方法，该方法包括：

针对不同来源的流文件，对存储空间划分成至少两个可用空间；

针对所述可用空间进行数据区和元数据区的布局，以使各可用空间单独管理所布局的数据区和元数据区。

可选的，在针对所述可用空间进行数据区和元数据区的布局之后，所述方法还包括：对于数据区采用持久预分配方式确定流文件的存储地址；元数据区索引信息目录的目录结构采用动态哈希树形结构；其中，所述目录项设置有一个哈希表。

可选的，所述数据区包括至少两个数据块，以存储流文件，所述元数据区包括至少两个数据块，以存储索引信息目录；

所述元数据区包括的至少两个数据块中，第一个数据块用于存放元数据区所在的可用空间的全局描述信息；

第一个数据块以外的其他数据块用于按照预设空间大小划分为索引块，所述索引块用于存放索引信息目录。

可选的，所述元数据区索引信息目录的目录结构采用动态哈希树形结构，具体包括：

元数据区索引信息目录的每个目录项包括一个哈希表，所述哈希表的长度为24个哈希值项，其中，前8个哈希值项作为寻址子目录项，后16个哈希值项作为文件子目录项。

可选的，所述方法还包括：

检测到元数据区的子目录创建请求时，计算该子目录的哈希值；

若哈希表中该哈希值项的指向为0，则确定一个未使用的目标索引块，将所述子目录信息写入至所述目标索引块，并将该哈希值项指向所述目标索引块。

可选的，在计算该子目录的哈希值之后，所述方法还包括：

若哈希表中该哈希值项的指向不为0，则确定哈希值项所指向的索引块的类型；

若为目录类型，则在所指向的索引块中找到一个空子目录项，并将所述子目录信息写入至所述索引块的空子目录项中；