[发明专利]一种图像处理的方法以及设备

说明书

本申请公开了人工智能领域中的一种图像处理的方法以及设备，可以提升图像识别模型的预测准确率。其中，方法包括：获取待处理图像。获取待处理图像中多个像素的评分值，第一像素的评分值是基于第一像素和预测结果之间的映射系数确定的，第一像素是多个像素中的任意一个像素，预测结果是目标图像识别模型对待处理图像的预测结果。对评分值满足第一条件的像素的像素值进行扰动，以获取处理后的待处理图像。

技术领域

本申请涉及人工智能安全领域，尤其涉及一种图像处理的方法以及设备。

背景技术

人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

近年来，随着人工智能相关技术的飞速发展，人工智能在许多领域得到了广泛应用。然而，其安全性也引起了社会各界的担忧。现有研究已经表明针对人工智能模型后门攻击易于实现。人工智能模型后门攻击是指在人工智能模型中植入后门的攻击，带后门的人工智能模型主要表现为：对于正常输入，人工智能模型做出正常预测，保持原有模型的预测准确率，而对于包含后门行为触发条件trigger的输入，人工智能模型会较高概率将该输入预测为目标类别。因此，针对包括trigger的输入，如何提升人工智能模型的预测准确率亟待解决。

发明内容

本申请提供一种图像处理的方法以及设备，可以用于提升人工智能模型的预测准确率，尤其可以提升对包括trigger的待处理图像的预测准确率。

第一方面，本申请提供一种图像处理的方法。方法包括：获取待处理图像。获取待处理图像中多个像素的评分值。具体的，可以获取待处理图像中各个像素的评分值，也可以获取待处理图像中全部像素中的部分像素的评分值。其中，部分像素可以是待处理图像中待识别对象大概率存在的区域对应的像素。比如，部分像素可以是待处理图像的中心区域对应的像素，再比如可以对待处理图像进行语义分割处理，以获取待处理图像中待识别对象的轮廓，部分像素可以是待识别对象的轮廓内对应的像素。第一像素的评分值是基于第一像素和预测结果之间的映射系数确定的，第一像素是待处理图像中任意一个像素，预测结果是目标图像识别模型对待处理图像的预测结果。具体的，一个人工智能模型可以理解为是一个从输入到输出的非线性映射，可以对人工智能模型进行归因分析，或者说对人工智能模型进行解释，以理解这个映射关系。这一映射关系的映射系数指示输入中的特征对人工智能模型做出预测结果的贡献程度的大小。本申请实施例可以采用多种方式获取映射系数，即获取待处理图像中各个像素的评分值，比如，可以采用Grad-CAM(Selvaraju，2017)方案、SHAP(Lundberg，2017)或者A-FMI(Zhang,2021)方案，本申请实施例对此并不进行限定。对评分值满足第一条件的像素的像素值进行扰动，以获取处理后的待处理图像。比如，可以对评分值满足第一条件的全部或者部分像素的像素值进行扰动，以获取处理后的待处理图像。将处理后的待处理图像作为目标图像识别模型的输入，以获取识别结果。其中，识别结果可能有多种表现形式，比如，可以是目标图像识别模型预测的待处理图像属于每个预设类别的概率，或者还可以是目标图像识别模型预测的待处理图像属于最大概率的类别。