[发明专利]一种基于人物关系建模的动作识别方法

说明书

本发明涉及一种基于人物关系建模的动作识别方法，包括以下步骤：1)利用卷积神经网络检测待识别图像中所有的人体包围盒和物体包围盒并提取人体特征向量和物体特征向量2)根据人体和物体的空间位置、人体特征向量和物体特征向量，分别计算人‑物关系特征f_ho(m)和物‑人关系特征f_oh(n)；3)利用人‑物关系特征f_ho(m)和物‑人关系特征f_oh(n)对人体特征向量和物体特征向量增强；4)融合增强后的人体特征向量和物体特征向量计算得到各类别动作的概率，完成动作识别，与现有技术相比，本发明具有动作识别精度高等优点。

技术领域

本发明涉及计算机视觉、动作识别技术领域，尤其是涉及一种基于人物关系建模的动作识别方法。

背景技术

动作识别，其目的在于使计算机能够理解图像和视频等中人所进行的各种动作。其不仅是计算机视觉领域的基础研究课题，还具备较高的应用价值，直接参与至智能安防、智能医疗、智能交通等各种人工智能系统中。

对于动作识别任务来说，要识别的动作不仅包括类似于跑、跳、站这类基本的人体自身动作，还包括牵扯到人周围物体的各种交互动作。为了精确地识别这些动作，除了要提取物体信息以外，还要建模并利用人和物体间的关系信息。

传统方法主要依赖于人工设计的特征，并且很多方法都使用了图模型(GraphicalModel)对人物关系进行建模。如，Yao等人提出用于识别人和物体间交互动作的图模型。他们对物体与人体部位之间的空间关系以及物体的依赖关系及其相应的图像特征进行了建模。Perst等人使用四种不同空间关系去建模人和物体间交互动作。这些关系包括：物体与人类之间的相对尺度差异、物体与人之间的欧氏距离、物体与人的重叠区域、物体与人之间的相对位置。

近年来，使用深度学习的方法在各公开数据集上取得了远超传统方法的结果，逐渐成为动作识别领域的主流。不同于使用人工设计的特征，深度学习方法使用卷积神经网络(CNN)去自动地提取特征用于动作分类。如，Gkioxari等人使用选择性搜索(SelectiveSearch)得到物体位置信息后，针对每一个物体都使用VGG-16网络预测其动作的得分，最后直接将物体的分数与人的分数相加作为最终结果。

尽管在早期基于人工特征的方法里有利用到人物关系，但是基于深度学习的动作识别方法还没有利用到人物关系，导致采用深度学习进行动作识别的精度较低，无法满足应用的要求，这可能是因为卷积神经网络接受的是结构化的输入，很难适应不定数量的人体和物体的输入并对其中关系进行建模。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高识别精确性的基于人物关系建模的动作识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于人物关系建模的动作识别方法，包括以下步骤：

1)利用卷积神经网络检测待识别图像中所有的人体包围盒和物体包围盒并提取人体特征向量和物体特征向量

2)根据人体和物体的空间位置、人体特征向量和物体特征向量，分别计算人-物关系特征f_ho(m)和物-人关系特征f_oh(n)；

3)利用人-物关系特征f_ho(m)和物-人关系特征f_oh(n)对人体特征向量和物体特征向量增强；

4)融合增强后的人体特征向量和物体特征向量计算得到各类别动作的概率，完成动作识别。

进一步地，所述的步骤1)具体包括：

101)使用在公开数据集上预训练的目标检测网络，检测输入图像中所有人体包围盒和物体包围盒其中，M为人体包围盒的数量，N为物体包围盒的数量；