[发明专利]图像描述模型中奖赏及图像描述模型的构建方法

说明书

本发明涉及图像描述技术领域，具体涉及图像描述模型中奖赏及图像描述模型的构建方法，其中奖赏的构建方法包括：获取测试图像的标签描述以及预设图像描述模型基于测试图像的生成描述；基于标签描述以及生成描述，计算生成描述中n元组的奖赏；比较n元组的奖赏与第一阈值的大小关系以及n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出生成描述中的奖赏待提升的单词；根据标签描述以及与奖赏待提升的单词对应的n元组的奖赏，计算奖赏待提升的单词的奖赏。通过对不太频繁出现的单词给予更高的奖励来实现其约束，可以很好地解决不均匀的单词分布问题，并有助于捕捉图像的更具体的视觉细节，以提高图像描述的准确性。

技术领域

本发明涉及图像描述技术领域，具体涉及图像描述模型中奖赏及图像描述模型的构建方法。

背景技术

图像描述这一任务是日常生活中的常见任务。其目的是根据图像的内容生成一句描述图像内容的符合语法规则的自然语言描述。这一任务在现实生活中可以应用于儿童早教，导航引导等方面。

计算机视觉和自然语言处理的交叉领域是人工智能的两大领域，虽然这两个领域都有采用类似于的人工智能和机器学习的方法进行领域研究，但两个领域间的交互还很少。然而，近年来，自然语言处理和计算机视觉领域在分析和生成文本以及理解图像和视频方面取得了巨大的进步。图像描述作为计算机视觉和自然语言处理的交叉领域，近年来取得了显著的进展。

目前有很多方法模型被提出来解决图像描述的问题，然而现有的利用现有的方法模型所得到的生成描述的通常过于死板的句子，由一些最常见的单词/短语组成，从而导致不准确和难以区分的描述。

发明人通过研究发现，导致上述问题的原因在于，基本事实题注的单词分布不均匀，这鼓励了高频率的短语的生成，同时抑制了频率较低但更具体的短语。

发明内容

有鉴于此，本发明实施例提供了一种图像描述模型中奖赏及图像描述模型的构建方法，以解决图像描述的准确性偏低的问题。

根据第一方面，本发明实施例提供了一种图像描述模型中奖赏的构建方法，包括：

获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；

基于所述标签描述以及所述生成描述，计算所述生成描述中n元组的奖赏；

比较所述n元组的奖赏与第一阈值的大小关系以及所述n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出所述生成描述中的奖赏待提升的单词；

根据所述标签描述以及与所述奖赏待提升的单词对应的所述n元组的奖赏，计算所述奖赏待提升的单词的奖赏，以更新所述生成描述中每个单词的奖赏。

本发明实施例提供的图像描述模型中奖赏的构建方法，通过对生成描述中的单词进行筛选，得到奖赏待提升的单词，再对奖赏待提升的单词进行奖赏的提升，以更加突出内容敏感的单词。由于具体翔实的单词/短语仅仅描述了某些特定图像的一些清晰和详细的内容，使得其通常出现的频率较低，通过对不太频繁出现的单词给予更高的奖励来实现其约束，可以很好地解决不均匀的单词分布问题，并有助于捕捉图像的更具体的视觉细节，以提高图像描述的准确性。

结合第一方面，在第一方面第一实施方式中，所述比较所述n元组的奖赏与第一阈值以及所述n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出所述生成描述中的奖赏待提升的单词，包括：

依次判断各个所述n元组的奖赏是否大于所述第一阈值；

当所述n元组的奖赏大于所述第一阈值时，利用所述标签描述计算所述n元组中每个单词的奖赏；

依次判断各个所述单词的奖赏是否大于所述第二阈值；

当所述单词的奖赏大于所述第二阈值时，确定所述单词为从所述生成描述中除所述奖赏待提升的单词以外的单词。