[发明专利]显著性物体检测模型的训练方法、装置以及设备

权利要求书

1.一种显著性物体检测模型的训练方法，包括：

获取样本图像集中的样本图像的至少两个层次的特征张量；

基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合；

基于所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息；

基于所述视觉对比度融合信息和所述样本图像的视觉对比度信息进行训练，得到显著性物体检测模型；

其中，所述基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，包括：

将所述样本图像的至少两个层次的特征张量输入至对比度预训练网络，得到所述样本图像的视觉对比度信息，其中，所述对比度预训练网络用于对视觉对比度特征进行多尺度建模；

对所述样本图像的视觉对比度信息进行聚类，以及将聚类中心的视觉对比度信息组合成向量字典，作为所述样本图像集的视觉对比度信息混杂集合。

2.根据权利要求1所述的方法，其中，所述将所述样本图像的至少两个层次的特征张量输入至对比度预训练网络，得到所述样本图像的视觉对比度信息，包括：

基于所述样本图像的至少两个层次的特征张量，计算所述样本图像的至少两个层次的特征对比度，其中，一个特征张量对应一个特征对比度；

合并所述样本图像的至少两个层次的特征对比度，得到所述样本图像的视觉对比度信息。

3.根据权利要求1所述的方法，其中，所述基于所述样本图像的至少两个层次的特征张量，生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，包括：

基于所述样本图像的至少两个层次的特征张量，计算所述样本图像的至少两个层次的特征对比度，其中，一个特征张量对应一个特征对比度；

将所述样本图像的至少两个层次的特征对比度对比融合，得到所述样本图像的视觉对比度信息；

分别对所述样本图像的至少两个层次的特征张量进行全局平均，得到所述样本图像集的至少两个层次的特征张量；

分别对所述样本图像集的至少两个层次的特征张量进行聚类，以及将聚类中心的特征张量组合成至少两个层次的向量字典；

将所述至少两个层次的向量字典交叉拼接，生成所述样本图像集的视觉对比度信息混杂集合。

4.根据权利要求1-3中任一项所述的方法，其中，所述基于所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合，生成视觉对比度融合信息，包括：

将所述样本图像的视觉对比度信息与所述样本图像集的视觉对比度信息混杂集合进行自注意力机制融合，生成所述视觉对比度融合信息。

5.根据权利要求1-4中任一项所述的方法，其中，所述基于所述视觉对比度融合信息和所述样本图像的视觉对比度信息进行训练，得到显著性物体检测模型，包括：

将所述视觉对比度融合信息与所述样本图像的视觉对比度信息进行拼接，得到拼接对比度信息；

将所述拼接对比度信息输入至融合卷积层进行显著性物体检测，得到所述样本图像的显著性物体预测图像；

基于所述样本图像的显著性物体标注图像与显著性物体预测图像的差异，调整融合卷积层的参数，得到所述显著性物体检测模型。

6.根据权利要求5所述的方法，其中，所述基于所述样本图像的显著性物体标注图像与显著性物体预测图像的差异，调整融合卷积层的参数，得到所述显著性物体检测模型，包括：

基于所述样本图像的显著性物体预测图像，计算所述样本图像集的显著性物体预测均值图像；

基于所述样本图像的显著性物体预测图像与对应权重的乘积，以及所述样本图像集的显著性物体预测均值图像，计算损失函数；

基于所述损失函数，调整所述融合卷积层的参数，得到所述显著性物体检测模型。

7.根据权利要求1-6中任一项所述的方法，其中，所述获取样本图像集中的样本图像的至少两个层次的特征张量，包括：

将所述样本图像输入至骨干网络，提取所述样本图像的至少两个层次的特征张量。