[发明专利]基于分布式存储系统的数据处理方法、装置、设备和介质

说明书

本发明实施例公开了一种基于分布式存储系统的数据处理方法、装置、设备和介质。其中方法包括响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；将目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；根据目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库；从目标第二类数据库中读取目标数据，并对目标数据进行处理。本发明实施例实现根据数据的写入时间，从数据库中快速读取目标数据以对目标数据进行处理，从而缩短了数据读取周期，避免出现大量的无效读，提高了数据处理速度及分布式存储系统的性能，优化了数据库的操作效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种基于分布式存储系统的数据处理方法、装置、设备和介质。

背景技术

随着平安城市等大规模视频监控部署，需要配套大量后端存储设备，存储采集的视频数据，尤其是图片数据。而分布式存储系统可以通过多个存储设备，例如：对象存储设备(Object Storage Device，简称OSD)对外提供存储服务，且具备易扩展、单点故障不丢失数据、故障恢复快等优势，因此分布式存储系统可在监控视频领域中大量部署。

在实际使用过程中，分布式存储系统中每个存储设备配置有一个数据库，以用该数据库存储数据的元数据信息。相关技术中，数据写入分布式存储系统中的存储设备时，通常是将数据标识、归置组ID、存储池ID以及其他信息，作为KEY值，比如KEY＝POOL_ID+PG_ID+数据标识及其他信息，将数据对应的元数据作为Value，采用键值对的形式存储至存储设备的数据库中。其中，为了数据分摊均衡性，对数据以归置组为单位进行分组，并将KEY以升序的方式排序后写入排序序列表(Sorted Sequence Table，简称为：SST)文件中，以为后续扩容或者故障恢复时，对数据库依次处理。然而，当数据库保存大量SST文件，执行数据读取操作时，会使得数据读取周期长。另外，由于数据库中的KEY是以升序排序的，而并非按照客户端下发时间的顺序排列，因此对过期数据进行删除时，需要将数据库中的所有数据读取出来，并判断读取的所有数据中哪些数据超过留存期，然后将超过留存期的数据进行删除，从而会导致大量的无效读，影响分布式存储系统的性能。

因此，如何提高分布式存储系统中数据处理性能，是目前亟需解决的问题。

发明内容

本发明实施例提供一种基于分布式存储系统的数据处理方法、装置、设备和介质，用于解决读取或者删除存储于分布式存储系统中的数据时间长，速度慢，以提高分布式存储系统的数据处理性能的问题。

第一方面，本发明实施例提供了一种基于分布式存储系统的数据处理方法，该方法包括：

响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；

将所述目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；

根据所述目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库，所述第二类数据库的数量为大于1的正整数；

从所述目标第二类数据库中读取所述目标数据，并对所述目标数据进行处理。

第二方面，本发明实施例还提供了一种基于分布式存储系统的数据处理装置，该装置包括：

第一确定模块，用于响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；

第二确定模块，用于将所述目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；

选择模块，用于根据所述目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库，所述第二类数据库的数量为大于1的正整数；