[发明专利]对抗测试看图说话系统的方法和装置

权利要求书

1.一种对抗测试看图说话系统的方法，其特征在于，所述方法包括：

构造概率对数函数，所述概率对数函数将在看图说话系统要识别的图片上将要叠加的对抗噪声作为自变量，基于所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合的概率的对数构造因变量；

将所述概率对数函数分解成第一函数项和第二函数项，所述第一函数项和第二函数项都是所述将要叠加的对抗噪声、以及所述看图说话系统输出语句在非预定观测位置出现的词组合的概率的函数；

为第二函数项指定对抗噪声，求解第二函数项最小时的非预定观测位置出现的词组合的概率，并将解出的非预定观测位置出现的词组合的概率代入第一函数项，求解第一函数项最大时的对抗噪声，作为为第二函数项指定的对抗噪声，代替之前为第二函数项指定的对抗噪声，进行下一轮迭代，直至满足迭代终止条件；

将迭代后得到的对抗噪声叠加到所述看图说话系统要识别的图片上，以期望所述看图说话系统识别出的语句的预定观测位置出现指定的词。

2.根据权利要求1所述的方法，其特征在于，所述因变量为所述看图说话系统输出语句在预定观测位置出现的词的组合为预定观测词组合的概率的对数减去所述对抗噪声的二范数的平方的预定比例的差。

3.根据权利要求2所述的方法，其特征在于，所述第一函数项为在非预定观测位置出现的所有不同词组合的情况下的第一子函数的和减去所述对抗噪声的二范数的平方的预定比例的差，所述第一子函数通过以下方式构造：

构造给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合、以及所述看图说话系统输出语句在非预定观测位置出现的不同词组合的联合概率；

将所述联合概率除以所述看图说话系统输出语句在非预定观测位置出现的词组合的概率，得到的商求对数；

用得到的对数乘以所述看图说话系统输出语句在非预定观测位置出现的词组合的概率。

4.根据权利要求2所述的方法，其特征在于，所述第二函数项为第一和与第二和的差，所述第一和为在非预定观测位置出现的所有不同词组合的情况下的第二子函数的和，所述第二和为在非预定观测位置出现的所有不同词组合的情况下的第三子函数的和，所述第二子函数为所述看图说话系统输出语句在非预定观测位置出现的词组合的概率的对数乘以所述看图说话系统输出语句在非预定观测位置出现的词组合的概率，所述第三子函数为给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观测位置出现的词的组合、以及所述看图说话系统输出语句在非预定观测位置出现的不同词组合的联合概率乘以所述看图说话系统输出语句在非预定观测位置出现的词组合的概率。

5.根据权利要求4所述的方法，其特征在于，所述求解第二函数项最小时的非预定观测位置出现的词组合的概率，包括：

对第二函数项求导数，该导数中含有所述看图说话系统输出语句在非预定观测位置中的任一个观测位置上出现的词是词典中每个候选词的概率；

令所述导数等于0，求出所述看图说话系统输出语句在一个位置出现的词是词典中一个词的概率，从而得到所述看图说话系统输出语句在每一个非预定观测位置出现的词是所述预定观测词组合中的相应词的概率；

将所述看图说话系统输出语句在每一个非预定观测位置出现的词是所述预定观测词组合中的相应词的概率相乘，得到第二函数项最小时的非预定观测位置出现的词组合的概率。