[发明专利]图像描述模型中奖赏及图像描述模型的构建方法

权利要求书

1.一种图像描述模型中奖赏的构建方法，其特征在于，包括：

获取测试图像的标签描述以及预设图像描述模型基于所述测试图像的生成描述；

基于所述标签描述以及所述生成描述，计算所述生成描述中n元组的奖赏；

比较所述n元组的奖赏与第一阈值的大小关系以及所述n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出所述生成描述中的奖赏待提升的单词；

根据所述标签描述以及与所述奖赏待提升的单词对应的所述n元组的奖赏，计算所述奖赏待提升的单词的奖赏，以更新所述生成描述中每个单词的奖赏。

2.根据权利要求1所述的方法，其特征在于，所述比较所述n元组的奖赏与第一阈值以及所述n元组中每个单词的奖赏与第二阈值的大小关系，以筛选出所述生成描述中的奖赏待提升的单词，包括：

依次判断各个所述n元组的奖赏是否大于所述第一阈值；

当所述n元组的奖赏大于所述第一阈值时，利用所述标签描述计算所述n元组中每个单词的奖赏；

依次判断各个所述单词的奖赏是否大于所述第二阈值；

当所述单词的奖赏大于所述第二阈值时，确定所述单词为所述奖赏待提升的单词。

3.根据权利要求1所述的方法，其特征在于，所述根据所述标签描述以及与所述奖赏待提升的单词对应的所述n元组的奖赏，计算所述奖赏待提升的单词的奖赏，以更新所述生成描述中每个单词的奖赏，包括：

提取与所述奖赏待提升的单词对应的所述n元组的奖赏；

利用所述标签描述以及提取出的所述n元组的奖赏，计算所述奖赏待提升的单词的奖赏；

更新所述生成描述中每个单词的奖赏。

4.根据权利要求3所述的方法，其特征在于，采用如下公式计算所述生成描述中n元组的奖赏：

其中，c为所述生成描述；ω为所述n元组；Ω为所述生成描述中所有单词的结合；n_ω(c)为n元组ω在所述生成描述中出现的次数；l为训练集中所有的图像；I_p为所述训练集中图像；S_pq为训练集中图像I_p的第q个标签描述。

5.根据权利要求4所述的方法，其特征在于，采用如下公式计算所述奖赏待提升的单词的奖赏：

其中，为所述奖赏待提升的单词，ω_k为与所述奖赏待提升的单词对应的n元组；j为所述标签描述的数量；为所述生成描述中ω_k的奖赏；s_j为所述测试图像的第j个标签描述；为第j个标签描述中ω_k的奖赏。

6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括：

获取所述测试图像与所述生成描述的相关性；

在训练集中提取所述测试图像的全局最相似图像；

计算所述测试图像相对于所述全局最相似图像与所述生成描述的相关性差值，以确定第一全局奖赏；

基于所述第一全局奖赏以及所述奖赏待提升的单词的奖赏，更新所述生成描述中的每个单词的奖赏。

7.根据权利要求6所述的方法，其特征在于，采用如下公式计算所述第一全局奖赏：

式中，[x]₊＝max(x,0)；

其中，为所述第一全局奖赏；I_g为所述全局最相似图像；I为所述测试图像；为所述测试图像的生成描述；为所述全局最相似图像与所述生成描述的相关性；为所述测试图像与所述测试图像的生成描述的相关性；ε为常数。