[发明专利]基于自适应图卷积对抗网络的人体行为预测方法及系统

说明书

本公开提出了基于自适应图卷积对抗网络的人体行为预测方法及系统，方法包括如下步骤：获取人体行为动作序列，并按照不同的观测比进行分割；将分割后的动作序列输入至训练好的AGCN‑AL网络和局部网络分别进行行为预测；将局部网络与AGCN‑AL网络的预测结果融合，作为最终的行为预测结果；所述AGCN‑AL网络包括设置有图自适应图卷积网络模块的特征提取网络，以及分别与特征提取网络连接的鉴别器和分类器，局部网络包括依次连接的特征提取网络和分类器。本公开针对人体骨架数据，融合自适应图卷积对抗网络AGCN‑AL以及自适应图卷积对抗网络AGCN‑AL的局部网络，实现全局信息和局部信息的预测结果融合，提高了人体行为预测的准确性。

技术领域

本公开涉及图像处理相关技术领域，具体的说，是涉及基于自适应图卷积对抗网络的人体行为预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

行为预测的目的是在动作结束前对其进行识别。行为预测在实际的生产生活中存在着广泛的应用前景，例如在安防监控和医疗监护等监控场景中可以尽早发现并预防危险事件的发生，提高监控的智能等级。行为预测还可应用于辅助驾驶、自动驾驶、人机协作等领域，不但可以对危险事件进行预警，还可以使机器能够快速地响应人类指令，理解人的意图，改善用户体验，提高工作效率。行为预测可以看作是动作识别任务的延伸，但相比于动作识别，行为预测因为无法观测到完整的动作执行过程而无疑更具挑战性。

相关研究表明，骨架数据所包含的信息足以判断人类行为。随着MicrosoftKinect、Asus Xtion等深度传感器技术的进步，可以很容易地获取人类的三维骨架信息，而且成本在不断下降，精度在不断提高。另外，人体姿态估计算法也在快速发展，比如OpenPose、AlphaPose等算法可以快速、准确地从RGB数据中估计出多人的骨架、手势、面部等数据。这些算法的发展使得基于人体骨架的行为分析得以应用于普通监控系统中，在不更换硬件设备的前提下大大增加了其应用场景。而且，相对于RGB数据，骨架数据的数据维度小，不受光照、背景、人物服饰等因素的影响，抗干扰能力强，鲁棒性强。因此，基于人体骨架的动作分析具有巨大的优势。

发明人发现，现有的基于人体骨架的行为预测的相关算法较少，基于骨架数据的行为预测的现有方法要么预测的效果较差，要么网络结构复杂，不利于实际应用。

发明内容

本公开为了解决上述问题，提出了基于自适应图卷积对抗网络的人体行为预测方法及系统，针对人体骨架数据，融合自适应图卷积对抗网络AGCN-AL以及自适应图卷积对抗网络AGCN-AL的局部网络，实现全局信息和局部信息的预测结果融合，提高了人体行为预测的准确性。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了基于自适应图卷积对抗网络的人体行为预测方法，包括如下步骤：

获取人体行为动作序列，并按照不同的观测比进行分割；

将分割后的动作序列输入至训练好的AGCN-AL网络和局部网络分别进行行为预测；

将局部网络与AGCN-AL网络的预测结果融合，作为最终的行为预测结果；

所述AGCN-AL网络包括设置有图自适应图卷积网络模块的特征提取网络，以及分别与特征提取网络连接的鉴别器和分类器，局部网络包括依次连接的特征提取网络和分类器。

一个或多个实施例提供了基于自适应图卷积对抗网络的人体行为预测系统，包括：

获取模块：被配置为用于获取人体行为动作序列，并按照不同的观测比进行分割；

预测模块：被配置为用于将分割后的动作序列输入至训练好的AGCN-AL网络和局部网络分别进行行为预测；