[发明专利]一种人物交互检测设备及其方法、装置、可读存储介质

说明书

本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质，包括：获取待检测的目标图像；根据所述目标图像生成输入参数集；输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据；调用训练好的基于多流架构的HOI检测模型；基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成；根据输入参数集获取各个流HOI检测模型的输入集，并将输入集输入至对应HOI检测模型，以获得每个HOI检测模型的输出；根据每个HOI检测模型输出计算得到最终交互预测分数，以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳，外观特征性能较差的问题。

技术领域

本发明涉及人工智能领域，具体涉及一种人物交互检测设备及其方法、装置、可读存储介质。

背景技术

近年来，人工智能技术突飞猛进，随着人工智能技术快速发展与壮大，其在医疗、安防、金融等领域取得了重大进步，新一代人工智能技术在自然语言处理、计算机视觉等方面将机器的认知能力推向了新的高度。其中，人物交互行为检测作为计算机视觉领域的一个分支，起着很重要的作用，人物交互检测应用于智能视频监控，人机交互，无人超市，无人驾驶等多个领域，精准且高效地进行人物交互行为识别是以上应用的关键，因而，理解一幅场景的内容，我们不仅需要检测出各类目标，还需要对他们之间的关系进行推理，目标图像中的人物交互行为(human object interaction，HOI)检测是目前目标图像场景理解中研究的一个热点和难点。

现有技术中的HOI检测方法大多采用两阶段方法，主要是先利用人和物体的外观特征，以及粗粒度的人物空间关系来解决HOI任务，再将更加细化人体姿态引用到HOI任务，通常是将姿态特征和视觉特征进行简单的连接，此检测方法简单，但对于具有相似的空间关系，仅根据人物空间关系的位置图来判断人物交互预测是不足够的，且连接操作由于没有考虑特征之间的相互影响，改进甚微，当训练样本数较少时，HOI检测网络计算的外观特征性能较差，最终效果不佳。

有鉴于此，提出本申请。

发明内容

有鉴于此，本发明的目的在于提供一种人物交互检测设备及其方法、装置、可读存储介质，能够有效解决现有技术中HOI检测方法判断人物交互效果不佳，外观特征性能较差的问题。

本发明公开了一种人物交互检测方法，包括：

获取待检测的目标图像；

根据所述目标图像生成输入参数集；所述输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征以及根据人体候选框集和物体候选框集生成的HOI提议数据；

调用训练好的基于多流架构的HOI检测模型；其中，所述基于多流架构的HOI检测模型由多个不同流的HOI检测模型并联形成；

根据所述输入参数集获取各个流的HOI检测模型的输入集，并将所述输入集输入至对应的HOI检测模型，以获得每个HOI检测模型的输出；

根据每个HOI检测模型的输出计算得到最终交互预测分数，以输出采集到的目标图像中人物交互行为的判断结果。

优选地，将所述人体候选框集中的每一个人体候选框和所述物体候选框集中的每一个物体候选框两两进行组合，以生成多组HOI提议数据。

优选地，所述基于多流架构的HOI检测模型包括姿态注意力流HOI检测模型、视觉流HOI检测模型以及物体语义流HOI检测模型。

优选地，获取所述姿态注意力流HOI检测模型输入集的具体步骤为：

调用训练好的Mask R-CNN模型对所述目标图像进行处理，以获取所述目标图像中的人体骨架点集；

使用与数据集V-COCO连接所述人体骨架点数据集相同的方式，以生成人体骨架图；