[发明专利]模型处理方法、装置、介质和计算设备

说明书

本发明提供了一种模型处理方法、装置、介质和计算设备，该方法包括：通过预设方式得到待处理的模型；提供处理所述模型的信息，基于所述信息至少能够得到处理任务的目标和与所述处理任务相关的数据集；根据提供的信息配置处理方案，其中，所述处理方案至少包括攻击算法信息和攻击参数信息；执行所述处理方案以得到所述模型的处理结果，其中，所述处理结果至少包括所述模型的安全性测评结果。本发明能够根据提供的模型和相关信息自动配置处理任务，简化了用户的操作流程，并且最后可以自动汇总执行测评任务后得到的测评结果，大大方便了用户，使得用户能够通过简单易学的操作得到模型的安全性能，而无需花费大量的时间精力学习开源测试工具。

技术领域

本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及一种模型处理方法、介质、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，以机器学习尤其是深度学习为代表的人工智能技术的迅速发展正在深刻改变人类的生产和生活方式，但是人工智能在飞速推动技术革命和产业进步的同时，其存在的安全风险往往被忽视。研究发现，许多表现良好的算法非常容易被人眼难以分辨的对抗样本所欺骗，导致AI系统判断失准。

对抗样本是指能够使机器学习模型出现错误的一类合成样本。攻击者在数据源上增加人眼难以辨别的细微扰动生成对抗样本，就可以使模型判断出错。

目前业界与对抗样本问题引发的模型安全测评主要依赖于一些开源社区的工具包，典型的如 Cleaverhans、ART。但是当前的开源工具包存在以下缺点：

1）不能提供直接测评服务：不支持直接测评用户的 API/SDK，使用时非常不便；

2）流程较为繁琐：测评后需要用户手动汇总、分析相关数据；

3）使用门槛较高：目前的开源工具多为 Python 库，缺少可操作的用户界面，需要用户编写代码调用且需要用户同时具备模型安全相关的专业的知识；

4）无法给出提高模型安全性的防御建议；

综上所述，现有技术方案存在的主要缺点是流程较为繁琐，使用门槛较高，不够方便，且只能尝试验证模型是否可能存在安全风险，无法为用户提供全面的、易用的模型安全性测评方案。

发明内容

在本上下文中，本发明的实施方式期望提供一种模型处理方法、介质、装置和计算设备。

在本发明实施方式的第一方面中，提供了一种模型处理方法，包括：

通过预设方式得到待处理的模型；

提供处理所述模型的信息，基于所述信息至少能够得到处理任务的目标和与所述处理任务相关的数据集；

根据提供的信息配置处理方案，其中，所述处理方案至少包括攻击算法信息和攻击参数信息；

执行所述处理方案以得到所述模型的处理结果，其中，所述处理结果至少包括所述模型的安全性测评结果。

在本实施方式的一个实施例中，提供处理所述模型的信息包括：

提供处理所述模型的应用场景信息；

根据所述应用场景信息提供至少一个处理任务的目标；

提供与所述处理任务相关的用于输入所述模型的数据集。

在本实施方式的一个实施例中，根据提供的信息配置处理方案，其中，所述处理方案至少包括攻击算法信息和攻击参数信息，包括：

根据提供的应用场景信息和每一处理任务的目标，配置包括多个执行不同处理策略的处理子任务的处理方案；