[发明专利]人物交互检测方法、装置、设备以及存储介质

权利要求书

1.一种人物交互检测方法，包括：

提取待检测图像的全局特征；

将所述全局特征输入至预先训练的基础解码器，得到多个候选三元组，其中，所述候选三元组是人体，物体，动作三元组；

将所述多个候选三元组分别输入至预先训练的物体检测解码器和预先训练的交互解码器，得到多对人体物体交互信息和多个交互动作信息，其中，所述物体检测解码器用于检测人物交互配对；

将所述多对人体物体交互信息和所述多个交互动作信息对应组合，得到多个人体物体动作三元组，其中，来自于同一候选三元组的人体物体交互信息与交互动作信息对应组合。

2.根据权利要求1所述的方法，其中，所述基础解码器包括第一预设数目个解码器层，所述物体检测解码器包括第二预设数目个解码器层，所述交互解码器包括第三预设数目个解码器层，每个解码器层包括交互注意力层、自注意力层和前向层。

3.根据权利要求1或2所述的方法，其中，所述基础解码器采用人体检测框损失函数、物体检测框损失函数和动作分类损失函数进行训练获得，所述物体检测解码器采用人体检测框损失函数和物体检测框损失函数进行训练获得，所述交互解码器采用动作分类损失函数进行训练获得，其中，所述人体检测框损失函数用于表征预测人体边界框与真实人体边界框的差异，所述物体检测框损失函数用于表征预测物体边界框与真实物体边界框的差异，所述动作分类损失函数用于表征预测动作类别与真实动作类别的差异。

4.根据权利要求3所述的方法，其中，所述人体检测框损失函数通过计算所述预测人体边界框与所述真实人体边界框的绝对距离和交并比的加权和得到，所述物体检测框损失函数通过计算所述预测物体边界框与所述真实物体边界框的绝对距离和交并比的加权和，再结合物体类别的交叉熵损失得到，所述动作分类损失函数通过计算所述预测动作类别与所述真实动作类别的焦点损失得到。

5.根据权利要求1-4中任一项所述的方法，其中，所述将所述全局特征输入至基础解码器，得到多个候选三元组，包括：

利用所述基础解码器的多个三元组查询，对所述全局特征进行特征提取，得到所述多个候选三元组。

6.根据权利要求1-5中任一项所述的方法，其中，所述将所述多个候选三元组分别输入至物体检测解码器和交互解码器，得到多对人体物体交互信息和多个交互动作信息，包括：

将所述多个候选三元组作为所述物体检测解码器的初始化特征，预测所述多个候选三元组的人体和物体所在的位置以及物体类别；

将所述多个候选三元组作为所述交互解码器的初始化特征，预测所述多个候选三元组的交互动作类别。

7.根据权利要求1-6中任一项所述的方法，其中，所述提取待检测图像的全局特征，包括：

将所述待检测图像输入至残差网络，得到所述待检测图像的像素特征；

将所述像素特征输入至图像编码器，得到所述全局特征。

8.一种人物交互检测装置，包括：

提取模块，被配置成提取待检测图像的全局特征；

第一解码模块，被配置成将所述全局特征输入至预先训练的基础解码器，得到多个候选三元组，其中，所述候选三元组是人体，物体，动作三元组；

第二解码模块，被配置成将所述多个候选三元组分别输入至预先训练的物体检测解码器和预先训练的交互解码器，得到多对人体物体交互信息和多个交互动作信息，其中，所述物体检测解码器用于检测人物交互配对；

组合模块，被配置成将所述多对人体物体交互信息和所述多个交互动作信息对应组合，得到多个人体物体动作三元组，其中，来自于同一候选三元组的人体物体交互信息与交互动作信息对应组合。

9.根据权利要求8所述的装置，其中，所述基础解码器包括第一预设数目个解码器层，所述物体检测解码器包括第二预设数目个解码器层，所述交互解码器包括第三预设数目个解码器层，每个解码器层包括交互注意力层、自注意力层和前向层。