[发明专利]一种文件存储方法、装置、设备及介质

说明书

本申请公开了一种文件存储方法、装置、设备及介质，包括：获取监控视频对应的写入数据；确定所述写入数据在对应的视频文件中所属的对象以得到目标对象；任一所述视频文件包括多个对象；根据所述目标对象将所述写入数据写入聚合文件的相应位置，其中，同一所述视频文件的对象在所述聚合文件中的写入位置与在该视频文件中的顺序一致。这样，在文件读取时，无需从多个聚合文件中读取多个碎片，并且，在修改写时，能够避免产生大量文件碎片，降低了存储压力，提升了文件读写性能。

技术领域

本申请涉及文件存储领域，特别涉及一种文件存储方法、装置、设备及介质。

背景技术

在分布式存储系统中，本地对象存储位于最底层，负责将数据实际写入磁盘中。目前主流的本地对象存储引擎为FileStore，在FileStore的基础上，可以将对象文件聚合成一个大文件(默认为64MB)，所有的对象数据追加写入该大文件中，当文件大小超过64MB时再切换到另一个大文件。这样可以减少对象文件的个数，但是当上层应用的IO比较复杂时，例如视频监控场景，对象聚合功能会存在以下问题：(1)每路摄像头一次发送的数据长度不固定，再加上随机sync操作，导致内存中无法凑齐一整个对象，最终一个对象的数据会被拆分成若干碎片并保存到不同的聚合文件上，一个聚合文件上也会承载大量的来自不同对象的碎片数据。由于每个数据碎片都有自己的元数据信息包括对象名、属性、大小、修改时间、在对象中的偏移量、所在聚合文件的编号、在聚合文件上的偏移量等且需要保存到KV数据库中，当碎片化程度较高时，大量的对元数据和数据的读写操作会导致磁盘持续100％，进而影响上层应用的读写，导致出现写入视频时丢帧、读取视频时加载不上来的现象；(2)视频监控场景会预先创建大量的64MB的稀疏文件，使集群的水位超过85％，即集群始终保持高水位运行；然后在后续的循环修改写时，对象聚合机制会产生大量的垃圾数据，必须通过及时打洞的方式释放磁盘空间，这又会进一步加剧磁盘的压力。

发明内容

有鉴于此，本申请的目的在于提供一种文件存储方法、装置、设备及介质，能够避免产生大量文件碎片，提升文件读写性能。其具体方案如下：

第一方面，本申请公开了一种文件存储方法，包括：

获取监控视频对应的写入数据；

确定所述写入数据在对应的视频文件中所属的对象以得到目标对象；任一所述视频文件包括多个对象；

根据所述目标对象将所述写入数据写入聚合文件的相应位置，其中，同一所述视频文件的对象在所述聚合文件中的写入位置与在该视频文件中的顺序一致。

可选的，所述确定所述写入数据在对应的视频文件中所属的对象以得到目标对象，包括：

根据所述写入数据写入的所述视频文件以及写入该视频文件的位置确定所述写入数据所属的所述对象以得到目标对象。

可选的，所述根据所述目标对象将所述写入数据写入聚合文件的相应位置，包括：

从数据库中查找所述目标对象的元数据信息；

若从所述数据库中查找不到所述目标对象的元数据信息，则判断所述目标对象是否为该目标对象对应的所述视频文件的第一个对象；

若所述目标对象为该目标对象对应的所述视频文件的第一个对象，并且，所述写入数据在所述目标对象中的偏移量为0，则将所述写入数据写入当前聚合文件中，并在当前聚合文件中预留该视频文件其他对象的位置；

若所述目标对象不为该目标对象对应的所述视频文件的第一个对象，并且，所述写入数据在所述目标对象中的偏移量为0，则查找该视频文件中第一个对象的元数据信息，利用该元数据信息确定所述写入数据在当前聚合文件中的写入位置，然后根据该写入位置将所述写入数据写入当前聚合文件；

若从所述数据库中查找到所述目标对象的元数据信息，则根据该元数据信息将所述写入数据写入当前聚合文件中的相应位置。