[发明专利]基于深度强化学习的人体骨架行为识别方法及装置

说明书

本发明公开了一种基于深度强化学习的人体骨架行为识别方法及装置，其中，方法包括：通过对训练集中的每一段视频进行均匀采样得到帧数固定的视频，以训练图卷积神经网络；在图卷积神经网络的参数固定之后，通过图卷积神经网络训练萃取帧网络，以得到满足预设条件的代表帧；通过满足预设条件的代表帧更新图卷积神经网络；获取目标视频，并对目标视频进行均匀采样，以将采样得到的帧送入萃取帧网络得到关键帧；将关键帧送入更新后的图卷积神经网络，以得到行为的最终类别。该方法可以加强挑选出来帧的判别性，去除冗余信息，提高识别性能，降低测试阶段计算量，同时可以充分利用人体骨骼的拓扑关系，来提高行为识别的性能。

技术领域

本发明涉及计算机视觉、强化学习及深度学习技术领域，特别涉及一种基于深度强化学习的人体骨架行为识别方法及装置。

背景技术

行为识别旨在区分出在一段给定视频中的行为类别，是计算机视觉中的一个重要研究方向。行为识别有着广泛的应用，比如视频监控，人与机器人的交互等。相比于传统的彩色视频，基于骨骼的视频中包含着人体关键骨骼的3D位置，其对视角的变换、人体的尺度和运动速度都有着较高的鲁棒性。并且，随着深度传感器(如Kinect)的发展和人体姿态估计算法的成熟，基于人体骨骼的数据正与日俱增。因此，基于人体骨架的行为识别研究，在近些年来受到了越来越多的关注。

基于人体骨架行为识别的方法大体上可以分为两类：基于手工设计特征的方法和基于深度学习的方法。基于手工特征设计的方法在于设计有判别力的特征，用于描述视频在时空上的关系。如，将人体的骨骼建模成Lie群中的一个点，并且通过基于Lie代数的方法对行为进行分类。再如，将朴素贝叶斯最近邻方法扩展为时空朴素贝叶斯最近邻方法，并通过“阶段到类别”的距离来对动作进行分类。总体而言，这些方法通常需要较强的先验手工知识。并且，由于从视频到动作标签是一个较为复杂的非线性映射，这些手工设计方法对其表征的能力是有限的。

另一方面，很多研究者近些年致力于设计不同的深度网络结构来进行行为识别，如RNN(Recurrent Neural Networks，递归神经网络)、CNN(Cable News Network，卷积神经网络)等。其中，RNN模型能够描述时间上的依赖性，但是在实际工程中，训练堆叠的RNN有一定的难度。在另一方面，基于CNN的模型能够在低层描述相邻帧的信息，在高层描述长时间的时序关系，CNN训练起来更有效，也在近期取得了一些令人满意的结果。然而，大多数基于CNN的方法认为所有的帧都是一样重要的，这样便忽视了视频中那些最关键的帧。比如，在一段“踢腿”的视频中，有一些帧描述着动作主体站着，还有一些帧描述着运动主体踢出腿。相比之下，后者对于识别“踢腿”这个动作更加关键。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度强化学习的人体骨架行为识别方法，该方法可以加强挑选出来帧的判别性，去除冗余信息，提高识别性能，降低测试阶段计算量，同时可以充分利用人体骨骼的拓扑关系，来提高行为识别的性能。

本发明的另一个目的在于提出一种基于深度强化学习的人体骨架行为识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度强化学习的人体骨架行为识别方法，包括以下步骤：通过对训练集中的每一段视频进行均匀采样得到帧数固定的视频，以训练图卷积神经网络；在所述图卷积神经网络的参数固定之后，通过所述图卷积神经网络训练萃取帧网络，以得到满足预设条件的代表帧；通过所述满足预设条件的代表帧更新所述图卷积神经网络；获取目标视频，并对所述目标视频进行均匀采样，以将采样得到的帧送入所述萃取帧网络得到关键帧；将所述关键帧送入所述更新后的图卷积神经网络，以得到行为的最终类别。