[发明专利]人物交互检测方法、神经网络及其训练方法、设备和介质

权利要求书

1.一种人物交互检测方法，包括：

获取待检测图像的图像特征；

对所述图像特征进行第一目标特征提取，以得到多个第一目标特征；

对所述图像特征进行第一动作特征提取，以得到一个或多个第一动作特征；

针对所述多个第一目标特征中的每一个第一目标特征，将该第一目标特征和所述一个或多个第一动作特征中的至少一部分第一动作特征融合，以得到强化后的多个第一目标特征；

针对所述一个或多个第一动作特征中的每一个第一动作特征，将该第一动作特征和所述多个第一目标特征中的至少一部分第一目标特征融合，以得到强化后的一个或多个的第一动作特征；

对所述强化后的多个第一目标特征进行处理，以得到所述待检测图像中的多个目标各自的目标信息，其中，所述多个目标包括一个或多个人体目标和一个或多个物体目标，所述目标信息包括对应的目标的类型、包围所述对应的目标的检测框和置信度；

对所述强化后的一个或多个第一动作特征进行处理，以得到所述待检测图像中的一个或多个动作各自的动作信息，其中，所述一个或多个动作中的每一个动作与所述一个或多个人体目标中的一个人体目标和所述一个或多个物体目标中的一个物体目标相关联，该动作包括对应的人体目标和对应的物体目标之间的至少一个子动作，所述动作信息包括对应的动作所包括的至少一个子动作中的每一个子动作的类型和置信度；以及

将所述多个目标和所述一个或多个动作进行匹配，以得到人物交互检测结果。

2.如权利要求1所述的方法，还包括：

对所述一个或多个第一动作特征中的每一个第一动作特征进行第一人体子特征嵌入，以得到对应的第一动作-人体子特征；以及

对所述一个或多个第一动作特征中的每一个第一动作特征进行第一物体子特征嵌入，以得到对应的第一动作-物体子特征，

其中，将该第一动作特征和所述多个第一目标特征中的至少一部分第一目标特征进行融合包括：

基于与该第一动作特征对应的第一动作-人体子特征，在所述多个第一目标特征中确定第一至少一个第一目标特征；

基于与该第一动作特征对应的第一动作-物体子特征，在所述多个第一目标特征中确定第二至少一个第一目标特征；以及

将该第一动作特征、所述第一至少一个第一目标特征以及所述第二至少一个第一目标特征融合，以得到强化后的第一动作特征。

3.如权利要求1所述的方法，还包括：

对所述一个或多个第一动作特征中的每一个第一动作特征进行第一人体子特征嵌入，以得到对应的第一动作-人体子特征；以及

对所述一个或多个第一动作特征中的每一个第一动作特征进行第一物体子特征嵌入，以得到对应的第一动作-物体子特征，

其中，将该第一目标特征和所述一个或多个第一动作特征中的至少一部分第一动作特征进行融合包括：

基于该第一目标特征，在与所述多个第一动作特征对应的多个第一动作-人体子特征中确定至少一个第一动作-人体子特征；

基于该第一目标特征，在与所述多个第一动作特征对应的多个第一动作-物体子特征中确定至少一个第一动作-物体子特征；以及

将该第一目标特征、与所述至少一个第一动作-人体子特征对应的第一至少一个第一动作特征以及与所述至少一个第一动作-物体子特征对应的第二至少一个第一动作特征融合，以得到强化后的第一目标特征。

4.如权利要求2所述的方法，还包括：

针对所述每一个第一目标特征，生成与该第一目标特征对应的第一目标-匹配子特征，

其中，确定第一至少一个第一目标特征包括：

基于与该第一动作特征对应的第一动作-人体子特征，在与所述多个第一目标特征对应的多个第一目标-匹配子特征中确定第一至少一个第一目标-匹配子特征；以及

将与所述第一至少一个第一目标-匹配子特征对应的至少一个第一目标特征确定为所述第一至少一个第一目标特征，

其中，确定第二至少一个第一目标特征包括：

基于与该第一动作特征对应的第一动作-物体子特征，在与所述多个第一目标特征对应的多个第一目标-匹配子特征中确定第二至少一个第一目标-匹配子特征；以及

将与所述第二至少一个第一目标-匹配子特征对应的至少一个第一目标特征确定为所述第二至少一个第一目标特征。