[发明专利]图像处理模型的训练方法、装置、图像处理方法及模型

说明书

本申请提供了图像处理模型的训练方法，图像处理模型包括第一模块、第二模块和/或第三模块，该方法包括：将第一图像和第二图像输入第一模块生成第一特征图；所述第一图像中包含目标对象图像；由第二模块根据所述第一特征图生成第二特征图，并根据第二特征图生成蒙版图像；所述蒙版图像对应所述目标对象图像；由第三模块根据所述第一特征图和第二特征图生成第三图像；所述第三图像是包含目标对象图像与第二图像的预测合成图；根据生成第三图像的损失函数和生成蒙版图像的损失函数进行所述图像处理模型的训练。还相应的提供了图像处理模型的训练装置、图像处理方法及模型，计算设备及存储介质。本申请可以提高图像分割中边缘的分割精度。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种图像处理模型的训练方法、装置、图像处理方法及模型，计算设备及存储介质。

背景技术

图像分割是计算机视觉领域的一项基础且重要的研究，图像分割也是视频分割的基础，通过将视频帧视为单个图像，可以将问题转化为图像分割。它要求模型根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，即将目标从背景中分离出来。图像分割在图像处理、视频处理、计算机视觉领域等有很广泛的应用，例如医学影像(Medical Imaging)、人脸识别(Face recognition)、指纹识别(Fingerprintrecognition)、自动驾驶(Autonomous driving)等，均需基于先将目标进行图像分割出后，再对目标进行分类、识别等处理；又如应用到图像或视频上的目标(目标可以是人体、建筑物、天空、河流等)的背景替换时，也是基于先将目标进行图像分割出后，再将目标与其他背景进行融合。

相对于基于数字图像处理的传统的图像分割方法，基于深度神经网络的图像分割方法实现了基于语义的图像分割，大大提升了图像分割的性能，例如通过卷积神经网络提取图像的特征图(即语义特征)，再使用图像的像素级分割和类别(例如前景或背景二分类)作为监督信号对模型进行端对端的训练。比较典型的神经网络模型包括FCN，U-net，Mask-RCNN等。FCN提出了全卷积网络和反卷积层，它将传统卷积网络中的全连接网络替换成了卷积网络，使得网络可以接受任意大小的图片，并使用反卷积从特征图输出和原图一样大小的分割图。U-net是典型的编码模块-解码模块结构，通过编码模块提取整个图形的语义信息，再融合浅层的高分辨率信息进行分割。Mask-RCNN同时解决目标检测和图像分割两个任务。

图像分割的准确性，特别是目标边缘区域的准确性，例如基于语义分割的基础上生成的蒙版(Mask)图像的边缘区域分割的准确性，是图像分割的关键技术。图像分割的准确性也会影响后续任务的效果，如果被分割出来的图像不准确，边缘噪声过多，则后续任务中对该部分图像识别精度会带来问题，或带来与其他背景图融合时带来真实度低等问题，或者会导致后续对该图像的分析带来更多的运算量。因此，如何提高图像分割的准确性，是目前在持续改进的技术问题。

发明内容

鉴于现有技术的以上问题，本申请提供一种图像处理模型的训练方法、装置、图像处理方法及模型，计算设备及存储介质，其能够提高图像分割的准确性。

为达到上述目的，本申请第一方面提供一种图像处理模型的训练方法，该图像处理模型包括第一模块、第二模块和/或第三模块，该方法包括：

将第一图像和第二图像输入第一模块生成第一特征图；所述第一图像中包含目标对象图像；

由第二模块根据所述第一特征图生成第二特征图，并根据第二特征图生成蒙版图像；所述蒙版图像对应所述目标对象图像；

由第三模块根据所述第一特征图和第二特征图生成第三图像；所述第三图像是包含目标对象图像与第二图像的预测合成图；

根据生成第三图像的损失函数和生成蒙版图像的损失函数进行所述图像处理模型的训练。