[发明专利]一种人物交互检测设备及其方法、装置、可读存储介质

权利要求书

1.一种人物交互检测方法，其特征在于，包括：

获取待检测的目标图像；

根据所述目标图像生成输入参数集；所述输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征以及根据人体候选框集和物体候选框集生成的HOI提议数据；

调用训练好的基于多流架构的HOI检测模型；其中，所述基于多流架构的HOI检测模型由多个不同流的HOI检测模型并联形成；

根据所述输入参数集获取各个流的HOI检测模型的输入集，并将所述输入集输入至对应的HOI检测模型，以获得每个HOI检测模型的输出；

根据每个HOI检测模型的输出计算得到最终交互预测分数，以输出采集到的目标图像中人物交互行为的判断结果。

2.根据权利要求1所述的一种人物交互检测方法，其特征在于，将所述人体候选框集中的每一个人体候选框和所述物体候选框集中的每一个物体候选框两两进行组合，以生成多组HOI提议数据。

3.根据权利要求1所述的一种人物交互检测方法，其特征在于，所述基于多流架构的HOI检测模型包括姿态注意力流HOI检测模型、视觉流HOI检测模型以及物体语义流HOI检测模型。

4.根据权利要求3所述的一种人物交互检测方法，其特征在于，获取所述姿态注意力流HOI检测模型输入集的具体步骤为：

调用训练好的Mask R-CNN模型对所述目标图像进行处理，以获取所述目标图像中人物的人体骨架点集；

使用与数据集V-COCO连接所述人体骨架点数据集相同的方式，以生成人体骨架图；

对所述人体骨架图和所述HOI提议数据进行处理，以生成该HOI提议数据的三幅二值图像，所述三幅二值图像合并称为三通道数据，其中，所述三通道数据即为所述姿态注意力流HOI检测模型的输入集；

其中，获取所述姿态注意力流HOI检测模型输出的具体步骤为：

调用训练好的姿态注意力学习网络对所述三通道数据进行处理，以生成姿态注意力权重，其中，所述姿态注意力学习网络包括卷积层、最大池化层以及平均池化层；

将所述姿态注意力权重输入全连接层中，使用激活函数进行处理，以生成姿态注意力流的输出分数。

5.根据权利要求3所述的一种人物交互检测方法，其特征在于，获取所述物体语义流HOI检测模型输入集的具体步骤为：

将调用训练好的词向量模型模型嵌入所述目标图像的每一个物体类别中，以获取对应物体的语义信息，其中，所述语义信息即为所述物体语义流HOI检测模型的输入集；

其中，获得所述物体语义流HOI检测模型输出的具体步骤为：

定义一个以人为中心的子图和一个以物为中心的子图；

对所述语义信息、所述以人为中心的子图以及所述以物为中心的子图进行处理，以生成以人为中心的关系特征和以物为中心的关系特征；

将所述以人为中心的关系特征和所述以物为中心的关系特征进行连接处理，以生成关系特征；

将所述关系特征输入全连接层中，使用激活函数进行处理，以生成物体语义流的输出分数。

6.根据权利要求3所述的一种人物交互检测方法，其特征在于，所述视觉流HOI检测模型包括外观特征、上下文特征以及几何特征；

其中，获得所述视觉流HOI检测模型输出的具体步骤为：

调用训练好的特征主干网络对所述全局特征和所述人体候选框进行处理，以生成人的外观特征，其中所述特征主干网络包括感兴趣区域、残差块以及平均池化层；

调用训练好的特征主干网络对所述全局特征和所述物体候选框进行处理，以生成物体的外观特征；

调用训练好的特征主干网络对所述全局特征进行处理，以生成上下文特征，该特征主干网络包括残差块和平均池化层；

利用人物候选框集中人和物体的坐标关系对所述人体候选框和所述物体候选框进行处理，以生成几何特征；

将所述人的外观特征、所述物体的外观特征、所述上下文特征以及所述几何特征连接，以生成视觉特征；

将所述视觉特征输入全连接层中，使用激活函数进行处理，以实现所述视觉特征的维度转换；

将维度转换后的视觉特征输入所述姿态注意力学习网络进行增强，以生成视觉流的交互建议分数和预测交互类别概率。