[发明专利]基于场景语义的目标检测方法、装置、设备及存储介质

权利要求书

1.一种基于场景语义的目标检测方法，其特征在于，包括：

构建目标检测模型；其中，所述目标检测模型包括特征图提取网络、场景语义特征提取网络、候选目标特征提取网络、融合网络和检测头部网络；

将训练图像输入所述特征图提取网络中，得到多尺度特征图；

将所述多尺度特征图输入所述场景语义特征提取网络，得到场景语义特征；

将所述场景语义特征输入两层全连接层，输出场景类别的预测值，根据所述场景类别的预测值计算场景预测的多标签分类损失；

将所述多尺度特征图输入所述候选目标特征提取网络，得到候选目标特征集合；

将所述场景语义特征和所述候选目标特征集合输入所述融合网络进行融合，得到新候选目标特征集合；

将所述新候选目标特征集合输入所述检测头部网络进行分类操作，计算对应的分类损失；将所述候选目标特征集合输入所述检测头部网络进行回归操作，计算对应的回归损失；

联合所述多标签分类损失、所述分类损失与所述回归损失对所述目标检测模型进行训练，得到训练好的目标检测模型；

将待测图像输入训练好的目标检测模型中，得到所述待测图像中待测目标的类别信息和位置信息；

其中，所述将所述场景语义特征和所述候选目标特征集合输入所述融合网络进行融合，得到新候选目标特征集合，具体包括：

将所述候选目标特征集合中任一特征向量和所述场景语义特征分别通过一层全连接层嵌入到相同维度，对应得到第一嵌入向量和第二嵌入向量；

根据公式计算所述任一特征向量和所述场景语义特征的语义兼容性得分θ_i；其中，v_ie为第i个特征向量对应的第一嵌入向量，1≤i≤n，n为所述候选目标特征集合中特征向量的总数，s_e为所述场景语义特征对应的第二嵌入向量；

根据所述语义兼容性得分更新所述任一特征向量，得到所述新候选目标特征集合。

2.如权利要求1所述的基于场景语义的目标检测方法，其特征在于，所述将所述场景语义特征输入两层全连接层，得到场景类别的预测值，根据所述场景类别的预测值计算场景预测的多标签分类损失，具体包括：

将所述场景语义特征输入两层全连接层，输出场景类别的预测值；

根据计算场景预测的多标签分类损失L_mll；其中，C为目标检测的类别总数，y^c为类别c的目标是否出现在图像中的标签值，为类别c的目标是否出现在图像中的预测值，σ(x)为sigmoid函数。

3.如权利要求1所述的基于场景语义的目标检测方法，其特征在于，所述将所述多尺度特征图输入所述候选目标特征提取网络，得到候选目标特征集合，具体包括：

将所述多尺度特征图输入RPN网络生成目标Proposals，接着进行ROI Align操作，接着经过两层全连接层得到所述候选目标特征集合；

或者，将所述多尺度特征图输入4层卷积网络，得到所述候选目标特征集合。

4.如权利要求1所述的基于场景语义的目标检测方法，其特征在于，所述根据所述语义兼容性得分更新所述任一特征向量，得到所述新候选目标特征集合，具体包括：

分别使用一层全连接层来转换所述任一特征向量和所述场景语义特征，并进行相加和经过tanh激活函数进行激活，得到融合特征为s′＝tan(Wv_i+Us)；其中，W为用来转换所述任一特征向量v_i的全连接层的权重，U为用来转换所述场景语义特征s的全连接层的权重；

根据v′_i＝θ_iv_i+(1-θ_i)s′对所述任一特征向量进行加权计算，得到更新的任一特征向量v′_i；其中，θ_i为所述语义兼容性得分；

根据更新的任一特征向量，得到所述新候选目标特征集合。