[发明专利]图像挑选模型的训练方法、目标图像挑选方法及装置

权利要求书

1.一种图像挑选模型的训练方法，其特征在于，包括：

获取图像序列对应的初始图像；

将所述图像序列和所述初始图像输入图像挑选模型，获得目标图像；其中，所述目标图像为所述图像序列中与所述初始图像相隔预设步长阈值内的图像；

基于所述初始图像和所述目标图像，获得训练奖惩值；其中，所述训练奖惩值与多个奖惩评价维度相关；

基于所述训练奖惩值，确定所述图像挑选模型的损失值；

利用所述损失值调整所述图像挑选模型的参数，直至满足预设收敛条件，获得训练后的所述图像挑选模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像序列和所述初始图像输入图像挑选模型，获得目标图像，包括：

将所述图像序列和所述初始图像输入所述图像挑选模型，以使所述图像挑选模型基于所述初始图像在所述图像序列中的位置以及所述预设步长阈值，确定多个候选位置并为所述候选位置设置第一置信度得分；

基于所述候选位置的所述第一置信度得分，从所有所述候选位置中确定目标位置，利用所述目标位置从所述图像序列中获得所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述图像挑选模型包括主干网络和输出层，所述将所述图像序列和所述初始图像输入所述图像挑选模型，以使所述图像挑选模型基于所述初始图像在所述图像序列中的位置以及所述预设步长阈值，确定多个候选位置并为所述候选位置设置第一置信度得分，包括：

将所述图像序列和所述初始图像输入所述主干网络，以使所述主干网络将所述初始图像在所述图像序列中的位置作为初始位置，向所述初始位置的至少一侧按梯次步长间隔移动，直至达到所述预设步长阈值或所述图像序列的首尾位置，得到多个所述候选位置；其中，所述梯次步长间隔从所述初始位置处按预设比例增长；

将所有所述候选位置输入所述输出层，以使所述输出层输出每个所述候选位置对应的所述第一置信度得分。

4.根据权利要求1所述的方法，其特征在于，所述多个奖惩评价维度至少包括图像类别、识别目标数量以及语义分割信息；

所述基于所述初始图像和所述目标图像，获得训练奖惩值，包括：

基于所述初始图像和所述目标图像对应的图像类别信息，确定所述目标图像对应的第一得分；基于所述初始图像和所述目标图像对应的识别目标数量，确定所述目标图像对应的第二得分；基于所述初始图像和所述目标图像对应的语义分割信息，确定所述目标图像对应的第三得分；

基于所述第一得分、所述第二得分和所述第三得分，获得所述训练奖惩值。

5.根据权利要求4所述的方法，其特征在于，所述基于所述初始图像和所述目标图像对应的图像类别信息，确定所述目标图像对应的第一得分，包括：

获得所述初始图像对应不同图像类别的第一相似度，将数值最大的所述第一相似度作为第一类别置信度得分；以及，获得所述目标图像对应不同图像类别的第二相似度，将数值最大的所述第二相似度作为第二类别置信度得分；

基于所述第二类别置信度得分和所述第一类别置信度得分的差值，获得所述第一得分。

6.根据权利要求4所述的方法，其特征在于，所述基于所述初始图像和所述目标图像对应的识别目标数量，确定所述目标图像对应的第二得分，包括：

对所述初始图像和所述目标图像进行目标识别，获得所述初始图像中识别目标的第一数量以及所述目标图像中识别目标的第二数量；

将所述第二数量和所述第一数量的差值作为所述第二得分。

7.根据权利要求4所述的方法，其特征在于，所述基于所述初始图像和所述目标图像对应的语义分割信息，确定所述目标图像对应的第三得分，包括：

对所述初始图像和所述目标图像进行语义分割，获得所述初始图像中第一像素点对应的第一语义置信度得分、以及所述目标图像中第二像素点对应的第二语义置信度得分；

获得对应所述第一语义置信度得分小于既定阈值的所述第一像素点的第三数量；以及，获得对应所述第二语义置信度得分小于所述既定阈值的所述第二像素点的第四数量；

将所述第四数量与所述第三数量的差值作为所述第三得分。