[发明专利]一种数据处理方法、相关设备及存储介质

说明书

本申请实施例涉及人工智能技术领域，并提供一种数据处理方法，可以应用于预训练‑微调的模型场景。该方法包括：获取目标扰动，目标扰动与第一模型的前N层结构相关，N为正整数；根据目标扰动与训练数据获取第一对抗样本；使用第一对抗样本训练第二模型，第一模型的前N层结构与第二模型的前N层结构的相似度大于第一预设阈值。由于模型在微调过程中，微调前后模型低层结构的变化较小。或理解为微调前的模型的低层特征更有可能能被迁移到微调后的模型上。因此，通过获取与第一模型的前N层结构相关的目标扰动，进而可以根据该目标扰动训练第二模型，从而提升第二模型的鲁棒性。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种数据处理方法及相关设备。

背景技术

随着深度学习模型正在得到广泛应用，模型的鲁棒性成为了一个必须的议题。有一种对模型的准确性造成负面影响的因素是对抗样本。其中，对抗样本是指将一些噪声加入原始样本中而得到的样本。且对抗样本相比于原始样本，对抗样本在人的认知上没有显著变化(例如加入噪声后的图像相比于原始图像在人眼看来没有显著变化)，但模型的相应处理结果会出现错误。

在预训练-微调的模型场景中，上游的供应商基于预训练样本生成预训练模型，并上传至云端，以提供给客户。客户基于不同的任务对该预训练模型进行微调以得到微调模型(常常使用客户端的本地数据对预训练模型进行微调)。进而将该微调模型应用于不同任务中。在上述预训练-微调的模型场景下，微调模型的鲁棒性都值得被评估。

因此，如何生成可以有效检测/提升微调模型鲁棒性的噪声数据是亟待解决的技术问题。

发明内容

本申请实施例提供一种数据处理方法，可以获取用于评价/提升微调后模型鲁棒性的目标扰动。

第一方面，本申请实施例从第一设备角度提供一种数据处理方法，可以应用于预训练-微调的模型场景。该方法可以由第一设备执行，也可以由第一设备的部件(例如处理器、芯片、或芯片系统等)执行。该方法包括：获取目标扰动，目标扰动与第一模型的前N层结构相关，N为正整数；根据目标扰动与训练数据获取第一对抗样本；使用第一对抗样本训练第二模型，第一模型的前N层结构与第二模型的前N层结构的相似度大于第一预设阈值。

可选地，在第一方面的一种可能的实现方式中，上述步骤：获取目标扰动，包括：获取候选扰动，候选扰动根据历史扰动获取得到；获取第一模型的第一初始样本；根据候选扰动与第一初始样本得到第二对抗样本；若第二对抗样本对应的第一特征图的计算值小于或等于第二预设阈值，则更新候选扰动直至满足预设条件；第一特征图为第二对抗样本输入第一模型的前N层结构所得到的输出信息；预设条件包括以下至少一项：更新候选扰动的次数大于第三预设阈值、计算值大于第二预设阈值；确定满足预设条件的候选扰动为目标扰动。

可选地，在第一方面的一种可能的实现方式中，上述的计算值为第一特征图中每个元素的平方和的负值。

可选地，在第一方面的一种可能的实现方式中，上述步骤：获取第一模型的第一初始样本，包括：接收第二设备发送的第二初始样本，第二初始样本为第三模型的部分训练数据，第三模型的前N层结构与第一模型的前N层结构的相似度大于第四预设阈值。再基于第二初始样本获取第一初始样本。

可选地，在第一方面的一种可能的实现方式中，上述步骤基于第二初始样本获取第一初始样本包括：从均匀分布中抽样得到目标均值和目标方差；根据目标均值和目标方差对第二初始样本进行高斯抽样得到第一初始样本。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：向第二设备发送第一数据，第一数据包括目标扰动或第一对抗样本，第一数据用于检测第三模型的鲁棒性，第三模型的前N层结构与第一模型的前N层结构的相似度大于第四预设阈值。