[发明专利]抵御恶意样本攻击的图像检索方法、装置、设备及存储介质

说明书

本发明公开了一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质，该方法包括利用对抗生成网络判别样本图像集中的恶意样本图像；根据所述恶意样本图像重构样本图像集，过滤恶意样本图像；利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。本发明采用PAHE结合两方安全计算技术，首先通过重构恶意样本的图像来消除扰动带来的影响，再将重构后的能够正确分类的图像进行安全特征提取以及安全图像检索，不会泄露任何关于图像原数据、训练梯度、特征向量等信息，旨在解决现有技术中存在的图像检索过程复杂且信息隐私得不到保证的技术问题。

技术领域

本发明涉及图像检索领域，尤其涉及一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质。

背景技术

深度神经网络DNNs在视觉对象识别上展现了前所未有的优势，在云计算领域，使用DNN的基于图像内容的图像检索(CBIR)应用也变得越来越流行。移动用户将他们的图像外包给云服务器，从而享受有效、智能的CBIR服务，这是一种经济高效的方法。基于DNN深度特征的CBIR能够更智能准确的产生图像的搜索结果。例如自动人脸识别服务能够检索出和特定人物相类似的一组照片。

虽然基于DNN深度特征的CBIR有巨大的商业和技术优势，但是在很多实际的应用场景下，直接将图像外包可能会带来数据隐私泄露的问题，更为重要的是，基于DNN深度特征的CBIR严重受到DNN网络本身分类的准确性的影响，而DNN网络很容易收到来自恶意样本的攻击：在输入图像上加入精心制造的扰动，使得人肉眼上无法识别，但是在前向推理阶段，这些小的扰动会使得图像分类完全错误，这将会导致基于DNN深度特征的CBIR完全的失效。

目前，对抗生成网络GAN由于其强大的学习分布的表达能力，被广泛应用于生成攻击以及对抗抗击。PouyaSamangouei等人提出Defnse-GAN，利用GAN的强大的表达能力抵御了恶意样本的攻击，然而由于生成网络模型的输出、网络参数以及中间结果是敏感数据，同时Defnse-GAN使用梯度下降算法去选择合适的样本输出，显然梯度信息也是敏感数据，因为攻击者会通过梯度信息来获取生成网络的输出数据。同态加密技术获取能够潜在的解决这个问题，但是并不支持除法和实数操作，安全多方技术或许也是替代方案，但是由于深度神经网络大的输入与深的网络结构，服务器之间的通信开销也无法承担。

专利公开号为CN111414964的中国专利公开了一种基于对抗样本防御的图像安全识别方法，但该专利技术方案利用差分进化算法生成作为对抗样本的子图像过程复杂且信息隐私得不到保证。

因此，如何保证图像检索中模型、原始数据、梯度以及中间结果等隐私信息，同时提高图像检索的效率和准确性上处于可接受的范围，是一个亟需解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种抵御恶意样本攻击的图像检索方法、装置、设备及存储介质，旨在解决现有技术中存在的图像检索过程复杂且信息隐私得不到保证的技术问题。

为实现上述目的，本发明提出一种抵御恶意样本攻击的图像检索方法，包括以下步骤：

利用对抗生成网络判别样本图像集中的恶意样本图像；

根据所述恶意样本图像重构样本图像集，以使所述样本图像集过滤所述恶意样本图像；

利用前向推理网络获取所述样本图像集中目标样本图像的特征向量；

根据所述目标样本图像的特征向量和库图像的特征向量，获取所述目标样本图像的检索结果。

可选的，利用对抗生成网络判别样本图像集中的恶意样本图像步骤，具体包括：