[发明专利]一种基于人体骨架时空关系的行为识别方法

说明书

本发明涉及计算机视觉技术领域，其公开了一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。该方法包括以下步骤：S1、对人体骨架序列进行均匀分段处理；S2、对每段人体骨架信息生成基于距离的图像表达；S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；S4、采用具有时序关系的多个短时空特征作为Bi‑LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于人体骨架时空关系的行为识别方法。

背景技术

行为识别是将所给定的视频片段中人的行为类别识别出来，它当前计算机视觉领域中的一个重要研究方向。由于基于视频原始图像的行为识别方法在较多场合易受到光线、遮挡和距离等问题干扰的因素，使用从视频中提取出的骨架信息作为行为识别原始数据的研究越来越多。基于人体骨架的行为识别方法更具有鲁棒性，能在行为识别中获得较高的识别率。

基于人体骨架的行为识别可分为两大类：基于传统方法的行为识别与基于深度学习的行为识别。其中基于传统方法的行为识别使用人工设计的算法提取视频中的行为特征，依赖于先验知识；基于深度学习的方法在构造网络后，网络可自动学习对识别有益的图像特征，但对计算和存储能力要求高。由于当前计算能力与存储能力的高速发展，使用基于深度学习的行为识别方法一般可表现出优于传统行为识别的效果。

基于深度学习的行为识别方法在针对性上也可进行分类，即针对图像特征的方法、针对时序特征的方法与针对结构特征的方法。针对图像特征的方法常使用卷积神经网络及其变形网络，针对时序特征的方法常使用循环神经网络及其变形网络，针对结构特征的方法常使用图神经网络及其变形。但针对单一特征的方法难以充分捕捉人体骨架的时空关系，特别是对于行为来说，由于行为不仅是在空间中人体关节位置的相对关系，也是在不同时间点关节位置的变化。使用多种特征结合来进行行为识别能更充分地利用人体骨架在行为过程中的时空关系信息，从而提高识别的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。

本发明解决上述技术问题采用的技术方案是：

一种基于人体骨架时空关系的行为识别方法，包括以下步骤：

S1、对人体骨架序列进行均匀分段处理；

S2、对每段人体骨架信息生成基于距离的图像表达；

S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；

S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。

作为进一步优化，步骤S1具体包括：

S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；

S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。

作为进一步优化，步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：

S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；