[发明专利]基于DETR的人物成对解码交互的人与物交互检测方法

说明书

本发明公开了一种基于DETR的人物成对解码交互的人与物交互检测方法，将图片通过训练好的DETR模型，获得人物目标框、目标类别和查询向量，从而减少模型训练时间。然后将查询向量和目标类别输入到查询向量分类器，得到人的查询向量、物的查询向量和物的类别；将物的类别输入到语义网络，得到物的语义查询向量，融合物的查询向量和物的语义查询向量，得到融合的物查询向量，将融合的物查询向量和人的查询向量进行合并，得到对象查询向量。最后将对象查询向量输入到成对融合检测网络，实现人物交互检测。本发明提高了人与物交互检测的精度，扩大了网络的感受野，提高了网络的性能。

技术领域

本申请属于人-物交互检测技术领域，尤其涉及一种基于DETR的人物成对解码交互的人与物交互检测方法。

背景技术

人-物交互检测是目标检测的下游任务，是目前热门的计算机视觉任务。相比于目标检测检测目标框和目标类别，人-物交互检测定位图像中的交互人-物对，并对动作进行分类。

在Transformer模型未被应用在视觉任务前，人-物交互检测算法往往使用卷积网络提取视觉特征，如HO-RCNN，这是典型的基于卷积神经网络的人-物交互检测算法，算法利用R-CNN定位相关区域，骨干网络裁剪特征后再通过多分支融合特征；STIGPN则利用图卷积迭代特征信息。但是这些方法仍存在着局限性，即传统卷积网络无法引入全局信息，同样也会造成特征污染。

近期，基于端到端的检测变换器网络DETR(Detection Transformer)算法开始流行，其使用深度自注意力来代替卷积，能够引入全局信息来完成集合预测。DETR算法是用于处理目标检测问题，因此将DETR引入目标检测下游任务人-物关系检测，乃至视觉的各领域是一个十分自然的想法。QPIC算法就是将DETR引入人-物关系交互检测领域，将其作为一个基础的检测器，并提取相应上下文信息，预测最终的三元组集合。

但是基于DETR直接完成三元组集合预测的相关人-物交互检测算法仍存在着一些问题，其一是训练困难，这是Transformer模型带来的劣势；其二是将单一的查询(Query)作为一个整体预测特征，而忽视了多个查询(Queries)之间的更符合直觉的特征联系，因此需要设计一种特殊的结构来融合相应的特征联系。同时，最后所预测的human,object,interaction三元组缺少相应的可靠性判断，需要一个语义模型来进行约束。

发明内容

本申请提出了一种基于DETR的人物成对解码交互的人与物交互检测方法，来减少训练资源，结合语义模态提高人-物交互检测精度。

为了实现上述目的，本申请技术方案如下：

一种基于DETR的人物成对解码交互的人与物交互检测方法，包括：

将原始图像经过骨干网络得到的特征图注入训练好DETR网络，所述DETR网络包括编码器、解码器和MLP层，获得解码器输出的查询向量，以及DETR网络最终输出的目标框及目标类别；

将查询向量和目标类别输入到查询向量分类器，得到人的查询向量、物的查询向量和物的类别；

将物的类别输入到语义网络，得到物的语义查询向量；

融合物的查询向量和物的语义查询向量，得到融合的物查询向量，将融合的物查询向量和人的查询向量进行合并，得到对象查询向量；

将对象查询向量输入到成对融合检测网络，实现人物交互检测。

进一步的，所述语义网络包括空间注意力模块和语义聚合模块，所述语义空间注意力模块输入特征为数据集的动词嵌入向量，输出语义空间注意力特征；