[发明专利]人物交互检测方法、装置、设备以及存储介质

说明书

本公开提供了一种人物交互检测方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，具体涉及图像处理、计算机视觉和深度学习等技术领域，可应用于智慧城市等场景。该方法的一具体实施方式包括：提取待检测图像的全局特征；将全局特征输入至预先训练的基础解码器，得到多个候选三元组；将多个候选三元组分别输入至预先训练的物体检测解码器和预先训练的交互解码器，得到多对人体物体交互信息和多个交互动作信息；将多对人体物体交互信息和多个交互动作信息对应组合，得到多个人体物体动作三元组。该实施方式通过引入基础解码器，解决匹配误差和联合分布的问题。

技术领域

本公开涉及人工智能技术领域，具体涉及图像处理、计算机视觉和深度学习等技术领域，可应用于智慧城市等场景。

背景技术

人物交互检测是定位出图像中所有做动作的人和物体，以及他们的动作关系。人物交互检测广泛应用于视频监控领域，能够对人体行为进行分类和监督。

当前的人物交互检测方法主要分为二阶段和一阶段方法。其中，二阶段方法主要采用先检测再分类的策略。一阶段方法是直接同时预测出人体，物体，动作三元组。

发明内容

本公开实施例提出了一种人物交互检测方法、装置、设备、存储介质以及程序产品。

第一方面，本公开实施例提出了一种人物交互检测方法，包括：提取待检测图像的全局特征；将全局特征输入至预先训练的基础解码器，得到多个候选三元组；将多个候选三元组分别输入至预先训练的物体检测解码器和预先训练的交互解码器，得到多对人体物体交互信息和多个交互动作信息；将多对人体物体交互信息和多个交互动作信息对应组合，得到多个人体物体动作三元组。

第二方面，本公开实施例提出了一种人物交互检测装置，包括：提取模块，被配置成提取待检测图像的全局特征；第一解码模块，被配置成将全局特征输入至预先训练的基础解码器，得到多个候选三元组；第二解码模块，被配置成将多个候选三元组分别输入至预先训练的物体检测解码器和预先训练的交互解码器，得到多对人体物体交互信息和多个交互动作信息；组合模块，被配置成将多对人体物体交互信息和多个交互动作信息对应组合，得到多个人体物体动作三元组。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开实施例提供的人物交互检测方法，通过引入基础解码器，将物体检测解码与交互解码器联系起来，省去匹配过程。同时，基础解码器得到的三元组表达，能够将检测和交互两个任务的联合分布进行建模。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的人物交互检测方法的一个实施例的流程图；

图2是根据本公开的人物交互检测方法的又一个实施例的流程图；

图3是人物交互检测模型的结构示意图；

图4是根据本公开的人物交互检测装置的一个实施例的结构示意图；