[发明专利]用于图像描述模型的奖赏的确定方法及电子设备

说明书

本发明涉及图像描述技术领域，具体涉及用于图像描述模型的奖赏的确定方法及电子设备，其中奖赏的确定方法包括：获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；基于所述测试图像及其生成描述，确定测试图像与所述生成描述的相关性；在训练集中提取所述测试图像的全局最相似图像；计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；基于所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏。通过计算得到的第一全局奖赏表示全局判别性的约束项，该约束项会使得测试图像与全局最相似图像之间的描述具有区分性与判别性，提高了图像描述的准确性。

技术领域

本发明涉及图像描述技术领域，具体涉及用于图像描述模型的奖赏的确定方法及电子设备。

背景技术

图像描述这一任务是日常生活中的常见任务。其目的是根据图像的内容生成一句描述图像内容的符合语法规则的自然语言描述。这一任务在现实生活中可以应用于儿童早教，导航引导等方面。

计算机视觉和自然语言处理的交叉领域是人工智能的两大领域，虽然这两个领域都有采用类似于的人工智能和机器学习的方法进行领域研究，但两个领域间的交互还很少。然而，近年来，自然语言处理和计算机视觉领域在分析和生成文本以及理解图像和视频方面取得了巨大的进步。图像描述作为计算机视觉和自然语言处理的交叉领域，近年来取得了显著的进展。

目前有很多方法模型被提出来解决图像描述的问题，然而现有的利用现有的方法模型所得到的生成描述的通常过于死板的句子，由一些最常见的单词/短语组成，从而导致不准确和难以区分的描述。

发明人通过研究发现，导致上述问题的原因在于，基本事实题注的单词分布不均匀，这鼓励了高频率的短语的生成，同时抑制了频率较低但更具体的短语。

发明内容

有鉴于此，本发明实施例提供了一种用于图像描述模型的奖赏的确定方法及电子设备，以解决图像描述的准确性偏低的问题。

根据第一方面，本发明实施例提供了一种用于图像描述模型的奖赏的确定方法，包括：

获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；

基于所述测试图像及其生成描述，确定测试图像与所述生成描述的相关性；

在训练集中提取所述测试图像的全局最相似图像；

计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；

基于所述第一全局奖赏以及所述n元组的奖赏，更新所述生成描述中的每个单词的奖赏。

本发明实施例提供的用于图像描述模型的奖赏的确定方法，通过计算得到的第一全局奖赏表示全局判别性的约束项，该约束项会使得测试图像与全局最相似图像之间的描述具有区分性与判别性。该第一全局奖赏能够使得生成描述与相应的图像更加匹配，同时与其他相似图像的相关性减小，进一步提高了图像描述的准确性。

结合第一方面，在第一方面第二实施方式中，采用如下公式计算所述第一全局奖赏：

式中，[x]₊＝max(x，0)；

其中，为所述第一全局奖赏；I_g为所述全局最相似图像；I为所述测试图像；为所述测试图像的生成描述；为所述全局最相似图像与所述生成描述的相关性；为所述测试图像与所述测试图像的生成描述的相关性；ε为常数。

结合第一方面，在第一方面第三实施方式中，所述基于所述第一全局奖赏以及所述奖赏待提升的单词的奖赏，更新所述生成描述中的每个单词的奖赏，还包括：

在所述训练集中提取预设数量的图像，以得到批量图像；