[发明专利]人物交互检测方法、神经网络及其训练方法、设备和介质

权利要求书

1.一种人物交互检测的方法，包括：

基于图像特征提取主干网络，获取待检测图像的多个图像特征；

对所述多个图像特征进行处理，以得到多个第一目标特征；

对所述多个图像特征进行处理，以得到多个第一交互特征和所述多个第一交互特征各自的得分，所述第一交互特征的得分指示该第一交互特征中包含有动作信息的可能性；

基于所述多个第一交互特征各自的得分，在所述多个第一交互特征中确定至少一部分第一交互特征；

利用所述至少一部分第一交互特征对所述多个图像特征进行查询，以得到多个第一动作特征；

对所述多个第一目标特征中的每一个第一目标特征进行目标检测，以得到所述待检测图像中的多个目标的目标信息，其中，所述多个目标包括一个或多个人体目标和一个或多个物体目标，所述目标信息包括对应的目标的类型、包围所述对应的目标的检测框和置信度；

对所述多个第一动作特征中的每一个第一动作特征进行动作识别，以得到所述待检测图像中的一个或多个动作的动作信息，其中，所述一个或多个动作中的每一个动作与所述一个或多个人体目标中的一个人体目标和所述一个或多个物体目标中的一个物体目标相关联；以及

基于所述多个目标各自对应的第一目标特征和所述一个或多个动作各自对应的第一交互特征，将所述多个目标和所述一个或多个动作进行匹配，以得到人物交互检测结果。

2.如权利要求1所述的方法，其中，所述图像特征包括对应的多个图像-键特征和多个图像-值特征，

其中，对所述多个图像特征进行处理，以得到多个第一交互特征和所述多个第一交互特征各自的得分包括：

获取预先训练的多个交互-查询特征；

针对所述多个交互-查询特征中的每一个交互-查询特征，基于该交互-查询特征对所述多个图像-键特征的查询结果和所述多个图像-值特征，确定与该交互-查询特征对应的第一交互特征；以及

分别对所述多个第一交互特征中的每一个第一交互特征进行处理，以得到该第一交互特征的得分。

3.如权利要求1所述的方法，其中，所述图像特征包括对应的多个图像-键特征和多个图像-值特征，

其中，利用所述至少一部分第一交互特征对所述多个图像特征进行查询，以得到多个第一动作特征包括：

针对所述至少一部分第一交互特征中的每一个第一交互特征，基于该第一交互特征对所述多个图像-键特征的查询结果和所述多个图像-值特征，确定与该第一交互特征对应的第一动作特征。

4.如权利要求1所述的方法，其中，所述多个图像特征包括对应的多个图像-键特征和多个图像-值特征，

其中，对所述图像特征进行处理，以得到多个第一目标特征包括：

获取预先训练的多个目标-查询特征；以及

针对所述多个目标-查询特征中的每一个目标-查询特征，基于该目标-查询特征对所述多个图像-键特征的查询结果和所述多个图像-值特征，确定与该目标-查询特征对应的第一目标特征。

5.如权利要求1所述的方法，还包括：

对所述至少一部分第一交互特征中的每一个第一交互特征进行第一人体子特征嵌入，以得到对应的第一交互-人体子特征；以及

对所述至少一部分第一交互特征中的每一个第一交互特征进行第一物体子特征嵌入，以得到对应的第一交互-物体子特征，

其中，将所述多个目标和所述一个或多个动作进行匹配包括：

针对所述一个或多个动作中的每一个动作：

基于该动作对应的第一动作特征对应的第一交互特征的第一交互-人体子特征，在所述多个第一目标特征中确定第一人体目标特征；

基于该动作对应的第一动作特征对应的第一交互特征的第一交互-物体子特征，在所述多个第一目标特征中确定第一物体目标特征；以及

将所述第一人体目标特征对应的目标、所述第一物体目标特征对应的目标和该动作进行关联。