[发明专利]一种基于骨骼关键点检测的人体动作识别方法

说明书

本发明公开了一种基于骨骼关键点检测的人体动作识别方法，包括：获取计算机视觉系统的每个标准动作的多个视频段，对每个视频段进行数据预处理；采用关键点检测网络对数据预处理后的视频段的每帧图像进行关键点信息提取，形成该视频段的多个关键特征向量；根据每个视频段的多个关键特征向量建立每个视频段对应的预先动作识别模型；对实时人体运动视频使用关键点检测网络提取实时关键点信息，生成实时关键特征向量；采用人体运动识别算法对人体动作进行识别；本发明方法识别精度高，使用加权的K‑近邻算法对人体动作进行识别，通过赋予每个距离点不同的权重获取更加均衡、抗躁能力更强的关键特征向量，使得最终识别结果更加准确。

技术领域

本发明属于动作识别技术领域，具体涉及一种基于骨骼关键点检测的人体动作识别方法。

背景技术

人体动作识别一直是计算机视觉、人工智能和模式识别等热门研究方向，在人机交互、虚拟现实、视频检索和安防监控等领域中有着十分广泛的应用。现有的人体动作识别方法主要包括基于可穿戴惯性传感器的人体动作识别方法和基于计算机视觉的人体动作识别方法两种。基于可穿戴传感器的人体动作识别方法，通过固定在人体特定部位的传感器采集人体的动作信息，并通过无线传输模块传送到计算机，进而对数据进行预处理、特征提取和选择、动作分类。该方法采集数据信息比较准确但是增加了人体负担且操作复杂，实际推广困难；目前主流的研究方向是基于计算机视觉的人体动作识别方法，通过计算机对摄像机采集的原始图像或图像序列数据进行处理和分析，学习并理解其中人的动作和行为。

随着深度相机及人体骨架提取算法的发展，人们可以便捷地获取人体骨骼关节点信息。由于人体可以被视为刚性骨骼关节点之间相互连接构建的系统，基于人体骨骼关节点的动作识别相较于基于图像的动作识别有着显著的优越性。

发明内容

本发明的目的是提供一种基于骨骼关键点检测的人体动作识别方法，以解决现有的人体动作的识别方法操作困难，移植性差的问题。

本发明所采用的技术方案是，一种基于骨骼关键点检测的人体动作识别方法，具体按照以下步骤实施：

步骤1、获取计算机视觉系统的每个标准动作的多个视频段，对每个视频段进行数据预处理；

步骤2、采用关键点检测网络对数据预处理后的视频段的每帧图像进行关键点信息提取，形成该视频段的多个关键特征向量；

步骤3、根据每个视频段的多个关键特征向量建立每个视频段对应的预先动作识别模型；

步骤4、对实时人体运动视频使用关键点检测网络提取实时关键点信息，生成实时关键特征向量；

步骤5、采用人体运动识别算法对人体动作进行识别。

本发明的特点还在于：

对视频段进行数据预处理具体过程为：当每个动作视频段的帧数大于或小于某一固定值，采用均匀抽帧或者运动补偿插帧的方式将视频段帧数统一。

步骤2具体过程为：基于CenterNet网络和堆叠Hourglass沙漏网络的多特征融合算法对数据预处理后的视频的每帧图像进行关键点信息提取，将每帧图像的关键点信息生成一组关键特征向量，形成该视频段的多个关键特征向量。

将每帧图像的关键点信息生成一组关键特征向量具体过程为：

每帧图像有n个关键点，将上述n个关键点坐标组成一个n行2列的矩阵，然后使用公式(λE-A)x＝0，求解出上述矩阵的特征值，再带入上述公式中求解该矩阵对应的特征向量，即为一组关键特征向量。

步骤3的具体步骤为：

步骤3.1、对每个视频段的多个关键特征向量采用加权平均方法计算该视频段的均值特征向量作为该动作的识别模型；