[发明专利]对抗测试看图说话系统的方法和相关装置

权利要求书

1.一种对抗测试看图说话系统的方法，其特征在于，所述方法包括：

构造目标函数，所述目标函数基于第一对数和第二对数的差，所述第一对数是给定在看图说话系统要识别的图片上将要叠加的对抗噪声时，所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合的概率的对数，所述第二对数是给定在看图说话系统要识别的图片上将要叠加的对抗噪声时，所述看图说话系统输出语句在预定观测位置出现的词的组合不为预定观测词组合的概率的对数；

对所述目标函数中具有求最大值符号的算项，指定对抗噪声，基于所述对抗噪声，确定具有求最大值符号的算项最大时算项中的未知变量值，将所述目标函数中所述具有求最大值符号的算项去最大值符号后的部分作为剩余函数，将求出的未知变量值代入所述剩余函数中求解使剩余函数值最小时的对抗噪声，替代之前指定的对抗噪声，进行下一轮迭代，直至满足迭代终止条件；

将迭代终止后得到的对抗噪声叠加到所述看图说话系统要识别的图片上，以期望所述看图说话系统识别出的语句的预定观测位置出现指定的词。

2.根据权利要求1所述的方法，其特征在于，所述目标函数为所述对抗噪声的二范数的平方的预定比例，减去给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合是各不同词组合的联合概率的对数在非预定观测位置出现的不同词组合下的最大值，加上给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合不为预定观测词组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合不是各不同词组合的联合概率的对数与松弛变量的和在预定观测位置出现的不同词组合和在非预定观测位置出现的不同词组合下的最大值，所述松弛变量等于预定正常数乘以预定倍数，其中，所述预定倍数等于所述看图说话系统输出语句在预定观测位置出现的词的组合中的词与预定观测词组合对应位置中的词不同的数目。

3.根据权利要求2所述的方法，其特征在于，所述确定具有求最大值符号的算项最大时算项中的未知变量值，包括：

对于给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合是各不同词组合的联合概率的对数在非预定观测位置出现的不同词组合下的最大值这样一个具有求最大值符号的算项，确定该联合概率最大时所述看图说话系统输出语句在非预定观测位置出现的词组合，作为所述未知变量值；

对于给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合不为预定观测词组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合不是各不同词组合的联合概率的对数与松弛变量的和的最大值这样一个具有求最大值符号的算项，确定该和最大时所述看图说话系统输出语句在预定观测位置出现的词的组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合，作为所述未知变量值；

所述去最大值符号包括：

在所述目标函数中，将所述联合概率的对数在非预定观测位置出现的不同词组合下的最大值，替换成给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合是确定的该联合概率最大时所述看图说话系统输出语句在非预定观测位置出现的词组合的联合概率的对数；

在所述目标函数中，将所述和在预定观测位置出现的不同词组合和在非预定观测位置出现的不同词组合下的最大值，替换成给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合不为该和最大时所述看图说话系统输出语句在预定观测位置出现的词的组合、以及所述看图说话系统输出语句在非预定观测位置出现的词组合不是该和最大时所述看图说话系统输出语句在非预定观测位置出现的词组合的联合概率，替换后的目标函数作为剩余函数。

4.根据权利要求1所述的方法，其特征在于，所述迭代终止条件包括以下中的至少一个条件：

当前轮迭代中解出的对抗噪声与上一轮迭代中解出的对抗噪声的差值绝对值小于预定对抗噪声差值绝对值阈值；

当前轮迭代中确定的所述未知变量值与上一轮迭代中确定的所述未知变量值一致。