[发明专利]数据处理方法及装置

说明书

本发明提供了一种数据处理方法、装置、设备及存储介质；方法包括：接收到针对目标特征库的特征数据处理请求，特征数据处理请求，用于请求对目标特征数据执行目标类型的数据处理；其中，目标特征库的特征数据通过至少一个存储块存储，用于供进行特征数据检索及查询；响应于特征数据处理请求，确定所述目标特征数据对应的所述目标特征库的目标存储块；获取对应所述目标特征库的写锁；基于所述目标存储块，对所述目标特征数据执行所述目标类型的数据处理，并释放所述写锁。通过本发明，采用块存储方式存储目标特征库中的特征数据，能够有效节省内存开销，减少检索过程中的等待时间，同时，通过读取目标特征库中的特征数据实现特征数据检索及查询。

技术领域

本发明涉及云技术领域中的云存储技术及数据库技术，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。

背景技术

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。借助于云技术的快速发展，基于云部署的计算机视觉技术，例如人脸识别与检索技术已在智慧安防、智慧社区、智慧零售等领域得到广泛应用。

对于云场景下的不同业务场景，特征库存储着对应不同业务的特征数据，以在相应的业务场景下，供进行特征数据检索。例如，对应人脸门禁、人脸支付的业务场景，可分别设置相应的存储有人脸特征数据的特征库；对应声纹密码校验的业务场景，可设置相应的存储有声纹特征数据的特征库。

相关技术中，为了满足多个业务场景或单个业务场景的需要，往往设置多个特征库，对于特征库中特征数据的存储，往往采用基于对象数组(vector)连续存储的方式，该方式需要预留足够的内存来保证大规模新增特征数据的需求，大量占用内存资源，造成内存资源的浪费；同时，当依据特征数据处理请求对某个特征库的特征数据进行处理时，需要对所有特征库全局写锁，造成其他特征数据处理请求的延迟，并可能形成长尾请求。

发明内容

本发明实施例提供一种数据处理方法、装置及计算机存储介质，能够有效节省内存开销，提高特征数据处理的处理效率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种数据处理方法，所述方法包括：

接收到针对目标特征库的特征数据处理请求，所述特征数据处理请求，用于请求对目标特征数据执行目标类型的数据处理；

其中，所述目标特征库的特征数据通过至少一个存储块存储；

响应于所述特征数据处理请求，确定所述目标特征数据对应的所述目标特征库的目标存储块；

获取对应所述目标特征库的写锁；

基于所述目标存储块，对所述目标特征数据执行所述目标类型的数据处理，并释放所述写锁。

本发明实施例还提供了一种数据处理装置，所述装置包括：

接收模块，用于接收到针对目标特征库的特征数据处理请求，所述特征数据处理请求，用于请求对目标特征数据执行目标类型的数据处理；其中，所述目标特征库的特征数据通过至少一个存储块存储；

确定模块，用于响应于所述特征数据处理请求，确定所述目标特征数据对应的所述目标特征库的目标存储块；

获取模块，用于获取对应所述目标特征库的写锁；

处理模块，用于基于所述目标存储块，对所述目标特征数据执行所述目标类型的数据处理，并释放所述写锁。

在上述方案中，所述确定模块，还用于：

当所述目标类型的数据处理为特征数据存储时，解析所述特征数据处理请求，得到待存储的所述目标特征数据；