[发明专利]对抗测试看图说话系统的方法和装置

说明书

本公开提供了一种对抗测试看图说话系统的方法和相关装置。该方法包括：构造概率对数函数；将所述概率对数函数分解成第一函数项和第二函数项；为第二函数项指定对抗噪声，求解第二函数项最小时的非预定观测位置出现的词组合的概率，并将解出的非预定观测位置出现的词组合的概率代入第一函数项，求解第一函数项最大时的对抗噪声，反复进行迭代，直到满足迭代终止条件；将迭代后得到的对抗噪声叠加到所述看图说话系统要识别的图片上，以期望所述看图说话系统识别出的语句的预定观测位置出现指定的词。本公开实施例不但能够使看图说话系统生成的图像描述语句含有指定的词，还能够指定这些词出现的位置，即在指定的位置出现指定的词。

技术领域

本公开涉及看图说话领域，具体涉及一种对抗测试看图说话系统的方 法、装置、对抗测试组件和介质。

背景技术

看图说话系统是这样一种系统，它利用机器学习的原理，当将图片输 入到该系统后，该系统就会识别图片的内容，输出解说图的语句，或说出 解说图的话。看图说话系统对于人工智能机器人解析图片和视频等具有重 大的意义。对抗测试看图说话系统是指对看图说话系统要识别的图片加噪 声，干扰看图说话系统的识别，使之输出与图片内容不符的解析语句或语 音，甚至让其解析出对抗测试者想要其输出的语句或语音，从而测试出看图说话系统的使用效果是否达到预期，并在不达到预期时改进看图说话系 统。

目前，对抗测试看图说话系统的技术只有Show-And-Fool。这种技术提 供了两种类型的对抗测试，分别是对整句话的对抗测试(targeted captions)和针对句子中关键词的对抗测试(targeted keywords)。 Show-And-Fool对句子中关键词对抗测试仅仅是要求生成的图像描述语句 中含有指定的关键词，但是无法指定其出现的位置。

发明内容

本公开的一个目的在于提出一种对抗测试看图说话系统的方法、装置、 对抗测试组件和介质，它不但能够使看图说话系统生成的图像描述语句含 有指定的词，还能够指定这些词出现的位置，即在指定的位置出现指定的 词。

根据本公开实施例的一方面，公开了一种对抗测试看图说话系统的方 法，所述方法包括：

构造概率对数函数，所述概率对数函数将在看图说话系统要识别的图 片上将要叠加的对抗噪声作为自变量，基于所述看图说话系统输出语句在 预定观测位置出现的词的组合为预定观测词组合的概率的对数构造因变 量；

将所述概率对数函数分解成第一函数项和第二函数项，所述第一函数 项和第二函数项都是所述将要叠加的对抗噪声、以及所述看图说话系统输 出语句在非预定观测位置出现的词组合的概率的函数；

为第二函数项指定对抗噪声，求解第二函数项最小时的非预定观测位 置出现的词组合的概率，并将解出的非预定观测位置出现的词组合的概率 代入第一函数项，求解第一函数项最大时的对抗噪声，作为为第二函数项 指定的对抗噪声，代替之前为第二函数项指定的对抗噪声，进行下一轮迭 代，直至满足迭代终止条件；

将迭代后得到的对抗噪声叠加到所述看图说话系统要识别的图片上， 以期望所述看图说话系统识别出的语句的预定观测位置出现指定的词。

在一个实施例中，所述因变量为所述看图说话系统输出语句在预定观 测位置出现的词的组合为预定观测词组合的概率的对数减去所述对抗噪声 的二范数的平方的预定比例的差。

在一个实施例中，所述第一函数项为在非预定观测位置出现的所有不 同词组合的情况下的第一子函数的和减去所述对抗噪声的二范数的平方的 预定比例的差，所述第一子函数通过以下方式构造：

构造给定将要叠加的对抗噪声时所述看图说话系统输出语句在预定观 测位置出现的词的组合、以及所述看图说话系统输出语句在非预定观测位 置出现的不同词组合的联合概率；

将所述联合概率除以所述看图说话系统输出语句在非预定观测位置出 现的词组合的概率，得到的商求对数；