[发明专利]神经网络模型的训练方法、装置和图像处理系统

权利要求书

1.一种用于图像处理的神经网络模型的训练方法，所述训练方法包括：

获取当前视频帧和目标模板，所述目标模板以边界框的方式定位与所述当前视频帧中的目标对象相同或相似的对象；

基于所述当前视频帧和所述目标模板，获取所述目标对象的像素级伪标签；

基于所述当前视频帧和所述目标模板，获取所述目标对象的分割掩码，所述像素级伪标签和分割掩码用于标注所述当前视频帧中的目标对象；

基于所述像素级伪标签和所述分割掩码，获取损失函数，并利用所述损失函数训练所述神经网络。

2.根据权利要求1所述的训练方法，其中，所述基于所述当前视频帧和所述目标模板，获取所述目标对象的像素级伪标签包括：

基于所述当前视频帧和所述目标模板，获取所述目标对象的注意力图；以及

细化所述注意力图以获得所述目标对象的像素级伪标签，

其中，所述注意力图用于定位所述目标对象。

3.根据权利要求2所述的训练方法，其中，所述神经网络包括第一子网络和第二子网络，所述第一子网络和第二子网络共享权重系数，

其中，所述基于所述当前视频帧和所述目标模板，获取所述目标对象的注意力图包括：

基于第二子网络和所述当前视频帧，获取第二特征；

基于所述第一子网络和第二子网络的权重系数和所述第二特征获取所述注意力图。

4.根据权利要求3所述的训练方法，其中，所述权重系数基于前景分类结果和所述第二特征获得，所述前景分类结果是基于第一特征和所述第二特征的相关图获得的，所述第一特征是基于第一子网络和所述目标模板获得的。

5.根据权利要求4所述的训练方法，其中，所述分割掩码是基于第一特征和所述第二特征的相关图和所述第二子网络不同层的输出的集合获取的。

6.一种利用神经网络模型的图像处理方法，包括：

接收待处理的图像；

利用所述神经网络模型对所述待处理的图像执行特征提取处理；以及

基于提取的特征，输出处理结果，

其中，所利用如权利要求1-5中任一项所述的神经网络模型的训练方法，获得所述神经网络模型。

7.一种用于图像处理的神经网络模型的训练装置，包括：

当前视频帧和目标模板获取单元，用于获取当前视频帧和目标模板，所述目标模板以边界框的方式定位与所述当前视频帧中的目标对象相同或相似的对象；

像素级伪标签获取单元，用于基于所述当前视频帧和所述目标模板，获取所述目标对象的像素级伪标签；

分割掩码获取单元，用于基于所述当前视频帧和所述目标模板，获取所述目标对象的分割掩码，所述像素级伪标签和分割掩码用于标注所述当前视频帧中的目标对象；

训练单元，用于基于所述像素级伪标签和所述分割掩码，获取损失函数，并基于损失函数训练所述神经网络。

8.根据权利要求7所述的训练装置，其中，

所述像素级伪标签获取单元基于所述当前视频帧和所述目标模板，获取所述目标对象的注意力图；以及

细化所述注意力图以获得所述目标对象的像素级伪标签，

其中，所述注意力图用于定位所述目标对象。

9.根据权利要求8所述的训练装置，其中，所述神经网络包括第一子网络和第二子网络，所述第一子网络和第二子网络共享权重系数，

所述像素级伪标签获取单元基于所述当前视频帧和所述目标模板，获取所述目标对象的注意力图包括：

基于第二子网络和所述当前视频帧，获取第二特征；

基于所述第一子网络和第二子网络的权重系数和所述第二特征获取所述注意力图。

10.根据权利要求9所述的训练装置，其中，所述权重系数基于前景分类结果和所述第二特征获得，所述前景分类结果是基于第一特征和所述第二特征的相关图获得的，所述第一特征是基于第一子网络和所述目标模板获得的。