[发明专利]一种图像语义分割方法、装置及终端设备

说明书

本申请公开了一种图像语义分割方法、装置及终端设备。首先获得包含目标物体的待分割图像；其后对待分割图像进行预处理得到预处理后的图像；最后利用训练好的图像语义分割模型对预处理后的图像进行语义分割，得到分割后的图像。图像语义分割能够有效提升图像语义分割的实时性，得到的分割后图像具有较高的分辨率。模型的FPN结构的编码和解码结构保证图像的分割精细度。该方法适用于手机等处理能力较弱的终端设备，提升终端设备对高分辨率图像的分割效果，提升用户的使用体验。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像语义分割方法、装置及终端设备。

背景技术

图像处理技术广泛应用于传媒、科研和工业设计等诸多领域。图像分割技术属于图像处理技术中的一种，图像分割的目的是将图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标。

图像语义分割是在像素级别上实现图像分割，将属于同一类的像素归为一类。简而言之，图像语义分割是从像素级别理解图像并进行图像分割。当前的图像语义分割，主流的技术是基于深度学习的彩色图像分割，针对不同的分割任务，有许多经典的图像分割网络，如FCN、UNet、SegNet、deeplab系列等。

其中，FCN是深度学习在图像分割领域的开篇之作，其分割精度低，速度慢。deeplab v3+将图像语义分割的精度提到了一个新的高度，但是其特征提取模块Xception65高昂的计算量，让很多应用设备都望而却步。虽然deeplab v3+也支持更快的mobilenet v2作为特征提取器，但是其精度相对xception65已经大打折扣。而且其在手机上的运行速度也非常的慢。

近年来针对手机等移动设备计算能力弱、速度要求高的情况，出现了不少经典的轻量级神经网络，如mobilenet系列、shuffenet系列、squeezenet等，旨在降低网络模型的运算量。其中mobilenet v2的问世，让轻量级网络的运算速度更上一层，mobilenet v2作为图像语义分割网络deeplab v3+的backbone，让基于深度学习的图像分割技术得以在手机端运行起来。但是其速度还是非常慢，通用的模型输入图片分辨率为513*513，在高通骁龙845处理器上，CPU环境的运行帧率小于1帧/秒，GPU环境的运行帧率小于5帧/秒，还远远达不到实时输出。

如果勉强为提升图像分割的实时性，降低图像输入分辨率以提高模型的运算速度，但是一旦将输出的分割结果在放到1920*1080的分辨率上，分割结果的边缘锯齿会非常明显。即，现有的图像语义分割模型无法在手机等处理能力较弱的终端设备上兼顾对图像分割的实时性和分割精度的双重要求。

发明内容

基于上述问题，本申请提供了一种图像语义分割方法、装置及终端设备，以实现实时且高精度的图像语义分割。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种图像语义分割方法，包括：

获得包含目标物体的待分割图像；

对所述待分割图像进行预处理，得到预处理后的图像；

利用训练好的图像语义分割模型对所述预处理后的图像进行语义分割，得到分割后的图像；

所述图像语义分割模型为特征金字塔网络FPN结构，包括编码结构和解码结构；所述编码结构包括：m个标准卷积块和n个残差卷积块；所述解码结构包括：n个标准卷积块和m+1个标准卷积块；其中，所述m为大于或等于1的整数，所述n为大于1的整数；

在所述编码结构中，所述m个标准卷积块用于对所述预处理后的图像进行标准卷积和下采样，每个所述残差卷积块用于对前一个卷积块的输出进行残差卷积和下采样；