[发明专利]交互关系识别方法、装置、设备及存储介质

说明书

本公开涉及一种交互关系识别方法、装置、设备及存储介质，所述方法包括：对待处理图像进行检测，获得人体检测结果和物体检测结果；根据所述人体检测结果，确定人体所对应的各个人体部件区域；根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点构建人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。

技术领域

本公开属于计算机视觉领域，尤其涉及一种交互关系识别方法、装置、设备及存储介质。

背景技术

人和物体的交互关系识别在城市智能监控、家庭智能监护等领域具有广阔的应用前景。人与物体进行交互的过程中，人会产生形态各异的姿态并且人和物体之间也会具有不同的位置关系，因此进行人与物体的交互关系识别需要充分挖掘以上信息，全面地理解人和物体之间的关系交互。

近几年来，深度学习在单个物体理解上取得了非常大的进展，而对于人与物体之间的关系理解的研究还在起步阶段。

发明内容

本公开实施例提供一种交互关系识别方案。

根据本公开的一方面，提供一种交互关系识别方法，包括：对待处理图像进行检测，获得人体检测结果和物体检测结果；根据所述人体检测结果，确定人体所对应的各个人体部件区域；根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，其中，所述物体区域为物体检测结果中的物体检测框所对应的区域，所述空间位置关系图包括各个所述人体部件节点的特征信息、所述物体节点的特征信息，以及各个所述人体部件节点与所述物体节点的位置关系信息；根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系。

结合本公开提供的任一实施方式，所述根据所述人体检测结果，确定人体所对应的各个人体部件区域，包括：获取所述人体检测结果中的人体检测框所包含的特征信息；根据所述特征信息，获得所述人体的人体关键点；根据人体骨架信息连接所述人体关键点，并获得连接信息；根据所述人体关键点以及连接信息确定各个人体部件区域。

结合本公开提供的任一实施方式，所述根据所述人体关键点以及连接信息确定各个人体部件区域，包括：根据相连的两个人体关键点来确定一个人体部件区域，和/或以所述人体关键点为中心确定一个人体部件区域。

结合本公开提供的任一实施方式，所述根据所述人体部件区域对应的人体部件节点以及所述物体区域对应的物体节点确定人体与物体的空间位置关系图，包括：对所述人体部件区域的特征信息进行降维，获得所述人体部件节点的特征信息；对所述物体区域的特征信息进行降维，获得所述物体节点的特征信息；针对同一人体，根据人体骨架信息连接各个所述人体部件节点；将所述物体节点与所述人体部件节点相连，获得人体与物体的空间位置关系图，其中，一个物体节点与一个人体部件节点相连所形成的边的特征信息为边所连接的物体节点和人体部件节点位置关系信息。

结合本公开提供的任一实施方式，所述将所述物体节点与所述人体部件节点相连，包括：对于每个物体节点，将与所述物体节点距离最近的设定数目的人体部件节点与所述物体节点分别相连。

结合本公开提供的任一实施方式，在获得人体与物体的空间位置关系图之后，所述方法还包括：对于每个人体部件节点，利用相邻的人体部件节点的特征信息以及相连的边的特征信息，更新每个所述人体节点的特征信息。

结合本公开提供的任一实施方式，所述根据人体与物体的空间位置关系图，确定所述人体与所述物体之间的交互关系，包括：根据所述人体部件节点的特征信息，获得所述人体对应的特征信息；根据所述物体节点的特征信息，获得所述物体对应的特征信息；根据所述人体对应的特征信息和所述物体对应的特征信息，确定所述人体与所述物体之间的交互关系。