[发明专利]一种图像分割分类方法和装置

说明书

本发明涉及一种图像分割分类方法和装置，包括：S1建立图像分割分类网络模型，同时实现图像帧的分割与分类；分割分类的网络模型包括上下文信息提取通路和空间信息提取通路，上下文信息提取通路和空间信息提取通路通讯连接，且上下文信息提取通路输出图像分类结果；空间信息提取通路输出图像分割结果；S2训练分割分类的网络模型，使网络模型达到预设标准。本方法中的分割分类的网络模型，既可以对移动终端采集的视频进行端到端的实时语义分割，又能同时实时识别出图像帧中场景的目标状态类别，将对视频的语义分割与对图像帧中场景状态的分类并行完成。

技术领域

本发明是关于一种图像分割分类方法和装置，属于图像处理技术领域。

背景技术

对于一段含有待分析目标对象的视频，有些图像帧场景中存在目标对象，有些图像帧则不存在，同时有些图像帧虽然存在目标对象，但由于在目标区域存在遮挡、或者目标不清晰、或者目标区域面积过小、或者目标对象姿势不正确等原因，致使这些图像帧图像不可用。所以要实现人机交互自动摄影就必须解决分割出目标对象区域并同时给出该帧图像分类类别的问题。

现有技术中常规的做法是将对图像帧中目标对象的分割与对图像帧场景状态的分类分两步进行，此种方法减小了移动电子设备端分析的速度。而且，目前存在的分割深度学习模型大多只能进行目标区域分割，而不能同时进行图像帧场景状态有效性分类识别，不能满足移动电子设备端对目标对象实时分析的需求。虽然，在自动驾驶领域中确实存在能够同时进行图像帧分割、分类或检测的方法，但该方法所用的模型占内存大，运算速度较慢，且对硬件平台有较高要求，并不能满足移动终端中的视频图像处理的需求。

发明内容

针对上述现有技术的不足，本发明的目的是提供了一种图像分割分类方法和装置，其通过引入分割与分类模型，有效简化了对图像帧场景中目标对象实时分析的前期预处理过程。

为实现上述目的，本发明提供了一种图像分割分类方法，包括以下步骤：S1建立图像分割分类网络模型，同时实现图像帧的分割与分类；分割分类的网络模型包括上下文信息提取通路和空间信息提取通路，上下文信息提取通路和空间信息提取通路通讯连接，且上下文信息提取通路输出图像分类结果；空间信息提取通路输出图像分割结果；S2训练分割分类的网络模型，使网络模型达到预设标准。

进一步，上下文信息提取通路包括两个支路，其中一个支路输出图像帧的场景状态的类别；另一个支路与空间信息提取通路连接，将上下文信息提取通路输出特征值输送至空间信息提取通路得到包括上下文信息和空间信息的特征图，并输出特征图作为图像帧的分割结果。

进一步，上下文信息提取通路包括依次连接的Conv3*3-BN-ReLU模块，Pooling层，倒残差模块组，Conv1*1-BN-ReLU模块、全局均值池化模块和分类器，经过分类器输出图像帧场景状态的类别，其中，上下文信息提取通路中，倒残差模块组包括依次连接的第一倒残差模块组、第二倒残差模块组和第三倒残差模块组，其中，第二倒残差模块组输出的特征图A经过模块注意力精炼模块处理，进入双线性插值采样层进行双线性插值采样操作，经过双线性差值采样操作的特征图A记为up1；Conv1*1-BN-ReLU模块输出的特征图B经过模块注意力精炼处理后，与全局均值池化模块输出的特征图C相乘，得到特征图D，特征图D经过双线性插值采样操作后记为up2，将up1与up2串联，得到特征图E，并将特征图E输入空间信息提取通路。

进一步，空间信息提取通路包括依次连接的深度可分离卷积模块、第一DenseNet模块、第一DenseNet过渡层、第二DenseNet模块和第二DenseNet过渡层，第二DenseNet过渡层输出的特征图F与特征图E一起输入特征融合模块进行处理，获得融合后的特征图G，对输出特征图G进行双线性插值操作，获得稀疏特征图H，特征图H经过一个Conv1*1层处理后，获得输入图像每个像素对应的类别，即图像分割结果。