[发明专利]一种全量数据比对方法、装置、设备及存储介质

说明书

本申请公开了一种全量数据比对方法，应用于协调服务器；该方法包括：获得服务节点与比对数据对应关系；将该对应关系下发给分布式集群的每个服务节点，以使每个服务节点根据服务节点与比对数据对应关系，遍历存储的全量比对数据，将各自对应的比对数据加载到内存中；在接收到数据比对指令的情况下，将比对目标下发给分布式集群的每个服务节点，以使每个服务节点将各自内存中的比对数据与比对目标进行比对。应用本申请所提供的技术方案，实现了全量数据比对，每个服务节点只基于自身内存中缓存的比对数据与比对目标进行比对，可以减少总的比对时长，提高比对效率。本申请还公开了一种全量数据比对装置、设备及存储介质，具有相应技术效果。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种全量数据比对方法、装置、设备及存储介质。

背景技术

随着计算机技术、互联网技术的快速发展，各种业务数据的数据量不断增长，需要进行数据比对的场景越来越多。比如，在身份核验、风控等场景需要进行人脸数据比对，在考勤、认证等场景中需要进行指纹数据比对，在车辆监控场景中需要进行车辆数据比对等。以进行人脸数据比对为例，可以将人脸图片通过AI(Artificial Intelligence，人工智能)模型计算出人脸特征向量，然后计算任意两张图片对应的人脸特征向量的距离值，判断两张图片中的人是否为同一个人。

在进行数据比对时，往往需要将比对目标与全量比对数据进行比对。比如，用户注册后，应用系统比对全量人脸库判断用户是否存在反复注册账号的行为。对于全量数据比对，目前多是通过一台机器存储全量比对数据，然后将比对目标逐一与全量比对数据中的每个比对数据进行比对。

这种方式存在一定的缺点，当全量比对数据的数据量较大时，这台机器的 IO(Input/Output，输入/输出)开销较大，数据比对过程将会耗费较长时间，比对效率较低。

发明内容

本申请的目的是提供一种全量数据比对方法、装置、设备及存储介质，以减少全量数据比对的耗时，提高比对效率。

为解决上述技术问题，本申请提供如下技术方案：

一种全量数据比对方法，应用于协调服务器，所述协调服务器分别与分布式集群的每个服务节点通信连接，每个服务节点中存储有全量比对数据；所述方法包括：

获得服务节点与比对数据对应关系；

将所述服务节点与比对数据对应关系下发给所述分布式集群的每个服务节点，以使每个服务节点根据所述服务节点与比对数据对应关系，遍历所述全量比对数据，将各自对应的比对数据加载到内存中；

在接收到数据比对指令的情况下，将比对目标下发给所述分布式集群的每个服务节点，以使每个服务节点将各自内存中的比对数据与所述比对目标进行比对。

在本申请的一种具体实施方式中，在所述将比对目标下发给所述分布式集群的每个服务节点之前，还包括：

确定所述分布式集群是否处于服务可用状态；

如果是，则执行所述将比对目标下发给所述分布式集群的每个服务节点的步骤。

在本申请的一种具体实施方式中，所述确定所述分布式集群是否处于服务可用状态，包括：

确定在所述协调服务器中为每个服务节点创建的临时节点是否均存在；

如果均存在，则确定所述分布式集群处于服务可用状态。

在本申请的一种具体实施方式中，还包括：

在接收到任意一个服务节点的缓存反馈信息的情况下，为相应服务节点创建对应的临时节点，所述缓存反馈信息为所述相应服务节点将对应的比对数据均加载到内存后发出的信息；

在任意一个服务节点离线的情况下，移除相应服务节点对应的临时节点。