[发明专利]一种基于语义分割增强的物体检测方法

摘要

本发明涉及一种基于语义分割增强的物体检测方法，包括：准备标注好的图像；图像集划分；设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性；模型训练。

主权项

1.一种基于语义分割增强的物体检测方法，包括下列步骤：1)准备标注好的图像，收集包含各种不同类别物体的图像，并标注每张图像中的所有感兴趣物体，标注内容为每个物体的位置、每个物体的类别以及每个像素点的所属物体类别，以其作为图像标签信息；2)图像集划分，将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；3)设计基于语义分割增强的深度卷积神经网络结构，以适用于物体检测，基于语义分割增强的深度卷积神经网络包含三个主要部分：主干子网络，分割子网络和检测子网络，主干子网络用来提取图像的通用特征，该特征是类别无关的特征；分割子网络基于主干子网络提取特征的基础上，进一步提取语义分割的特征并预测每一类物体的分割的热图，每一类的热图中，存在该类物体的位置响应值显著，而其他所有类别物体的位置响应值不显著，能够有效的反映出不同类别物体之间的差异；将每一类物体的热图作为该类的先验知识，并与检测子网络提取的特征相融合，进而产生类别相关的特征，每一类物体有对应类别的特征，该特征显著反映该类物体的特性，在检测子网络中，基于类别相关的特征，采用特定类别的检测器对该类别的特征进行提取和预测，以实现对每一类物体更好的检测；物体检验子网络包含对每一类物体检测的预测模块，用以产生对每一类物体的预测结果，该预测模块可以直接由回归和分类模块组成，或由候选框生成子网络以及回归和分类模块组成；4)输入数据，前向计算预测结果和损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代的更新参数，待代价函数曲线收敛时，模型训练完毕；5)将训练好的模型应用于测试或实际应用中，当输入图像时，通过该训练好的模型计算得到图像的检测结果，即物体的位置和类别信息，辅助实际应用场景中的决策。