[发明专利]基于场景语义的目标检测方法、装置、设备及存储介质

说明书

本发明公开了一种基于场景语义的目标检测方法、装置、终端设备及存储介质，该方法包括：构建目标检测模型；将训练图像输入特征图提取网络中，得到多尺度特征图；将多尺度特征图输入场景语义特征提取网络，得到场景语义特征；根据场景语义特征，计算场景预测的多标签分类损失；将多尺度特征图输入候选目标特征提取网络，得到候选目标特征集合；将场景语义特征和候选目标特征集合输入融合网络进行融合，得到新候选目标特征集合；再输入检测头部网络进行分类与回归操作，计算分类损失与回归损失；联合三个损失函数对目标检测模型进行训练；将待测图像输入训练好的目标检测模型中，得到检测结果。本发明能解决目前难以识别具有模糊外观的目标的问题。

技术领域

本发明涉及计算机视觉图像目标检测领域，尤其涉及一种基于场景语义的目标检测方法、装置、终端设备及存储介质。

背景技术

在现有的目标检测方法中，大多通过卷积神经网络提取待测目标的内部特征，再对提取到的特征进行分类，然后实现对待测目标的检测。但是，这些方法在检测过程中却忽略了全局的场景语义信息，而在现实场景中，目标的出现往往与场景相关，使得现有的目标检测方法难以识别具有模糊或不明显外观的目标。

发明内容

本发明实施例的目的是提出一种基于场景语义的目标检测方法、装置、终端设备及存储介质，能充分利用场景语义信息，有效解决现有检测方法中难以识别具有模糊外观的目标的问题。

为实现上述目的，本发明一实施例提供了一种基于场景语义的目标检测方法，包括：

构建目标检测模型；其中，所述目标检测模型包括特征图提取网络、场景语义特征提取网络、候选目标特征提取网络、融合网络和检测头部网络；

将训练图像输入所述特征图提取网络中，得到多尺度特征图；

将所述多尺度特征图输入所述场景语义特征提取网络，得到场景语义特征；

根据所述场景语义特征，计算场景预测的多标签分类损失；

将所述多尺度特征图输入所述候选目标特征提取网络，得到候选目标特征集合；

将所述场景语义特征和所述候选目标特征集合输入所述融合网络进行融合，得到新候选目标特征集合；

将所述新候选目标特征集合和所述候选目标特征集合输入所述检测头部网络进行分类与回归操作，计算对应的分类损失与回归损失；

联合所述多标签分类损失、所述分类损失与所述回归损失对所述目标检测模型进行训练，得到训练好的目标检测模型；

将待测图像输入训练好的目标检测模型中，得到所述待测图像中待测目标的类别信息和位置信息。

优选地，所述根据所述场景语义特征，计算场景预测的多标签分类损失，具体包括：

将所述场景语义特征输入两层全连接层，输出场景类别的预测值；

根据计算场景预测的多标签分类损失L_mll；其中，C为目标检测的类别总数，y^c为类别c的目标是否出现在图像中的标签值，为类别c的目标是否出现在图像中的预测值。

优选地，所述将所述多尺度特征图输入所述候选目标特征提取网络，得到候选目标特征集合，具体包括：

将所述多尺度特征图输入RPN网络生成目标Proposals，接着进行ROI Align操作，接着经过两层全连接层得到所述候选目标特征集合；

或者，将所述多尺度特征图输入4层卷积网络，得到所述候选目标特征集合。优选地，所述将所述场景语义特征和所述候选目标特征集合输入所述融合网络进行融合，得到新候选目标特征集合，具体包括：