[发明专利]用于深度神经网络的鲁棒加水印的系统和方法

说明书

本文中呈现了双层优化框架的实施例，内环阶段优化示例层问题以生成鲁棒范例，而外环阶段提出自适应优化以实现所投影的DNN模型的鲁棒性。用于给深度神经网络加水印的实施例包括获得临时模型的一组临时参数。该一组临时参数可以基于基本模型的一组基本参数来生成。实施例还可以包括使用临时模型的一组临时参数来生成一组边界水印范例。在一个或多个实施例中，该一组边界水印范例将临时模型在一组水印数据上的识别损失最大化。实施例还可以包括通过将该一组边界水印范例嵌入到基本模型的一个或多个基本参数中来输出嵌入水印的基本模型。

背景

A.技术领域

本公开总体上涉及用于计算机学习的系统和方法，所述系统和方法可以提供改进的计算机性能、特征和用途。更具体地，本公开涉及用于深度神经网络的鲁棒加水印的系统和方法。

B.背景技术

深度神经网络(DNN)在许多领域都取得了巨大的成功，诸如计算机视觉、自然语言处理、推荐系统等。随着深度神经网络的空前进步，网络和应用任务都越来越复杂，从而使构建模型的成本很高。因此，DNN 模型被认为是有价值的资产，从而需要一种用于保护模型构建者的知识产权(IP)的手段。为此，已经开发了若干DNN加水印或指纹方法。

从概念上讲，通过将某一行为注入模型中来实现DNN的加水印，其中稍后可以容易验证这种行为。现有的DNN加水印技术包括“黑盒”加水印和“白盒”加水印。根据黑盒加水印技术，加水印过程将期望的预测与不同于将由自然训练的模型(例如，通过使用后门)输出的预测的注入的密钥样本相关联，以降低假阳性率(即，检测到自然训练的模型中存在加水印的概率)。白盒加水印需要完全访问DNN模型，因此实现灵活的水印嵌入和提取过程，以使得能够将期望的行为嵌入DNN模型的内部结构或潜在空间中。

尽管白盒加水印可以提供很多益处，但是鉴于需要完全访问DNN模型以进行水印提取，白盒技术的使用受到一定限制。此外，黑盒加水印技术在将密钥样本注入模型期间可能会引起对DNN模型的学习函数的意外修改，这可能会导致性能降低。

此外，有水印的DNN模型可能会受到后续修改和/或攻击，这些修改和/或攻击可能会潜在地破坏嵌入到DNN模型中的水印。示例转换攻击包括微调、裁剪和水印覆盖过程。尽管一些现有的加水印技术已经显示出承受某些攻击的能力，但是鲁棒性并不是现有的水印嵌入过程的基本优化目标。

因此，需要的是用于以在对后续转换攻击提供鲁棒性的同时保留模型功能性的方式促进对DNN模型加水印的改进系统、方法和系统。

附图说明

将参考本公开的实施例，其示例可以在附图中示出。这些附图是说明性的，而不是限制性的。尽管在这些实施例的上下文中一般性地描述了本公开，但是应当理解，其并不旨在将本公开的范围限制于这些特定实施例。附图中的项目可能不是按比例绘制的。

图1描绘了根据本公开的实施例的双层优化模式的概念表示。

图2描绘了根据本公开的实施例的内环路优化流程的概念表示。

图3描绘了示出根据本公开的实施例的与用于DNN加水印的双层优化相关联的示例动作的示例流程图。

图4和图5描绘了示出根据本公开的实施例的与给深度神经网络加水印相关联的动作的示例流程图。

图6描绘了示出根据本公开的实施例的与检测有水印的深度神经网络相关联的动作的示例流程图。

图7描绘了示出根据本公开的实施例的关于有效性和保真度的实验结果的表。

图8描绘了指示根据本公开的实施例的相对于不同数量的密钥样本在实验DNN模型上的改变参数的比率的图。

图9描绘了根据本公开的实施例的在对经验证的数据集进行微调的过程中的实验签名保留率和函数保留率。

图10描绘了根据本公开的实施例的在各种裁剪率下的实验认证和函数保留率。

图11描绘了根据本公开的实施例的在覆盖过程中的实验签名保留率和函数保留率。

图12描绘了根据本公开的实施例的顺序单输入覆盖的实验评估。

图13描绘了根据本公开的实施例的在各种数量的水印嵌入的情况下的实验认证成功率和函数保留率。