[发明专利]一种基于动态时间规整与多核学习的动作识别方法

说明书

本发明针对视频的人体动作识别问题，提供了一种基于动态时间规整与多核学习的动作识别方法，该方法能充分利用动作序列的全局时间结构信息和局部特征的频率分布信息，主要的改进点在于：1）基于动态时间规整方法创建了动作平均模板，这一模板包含了BoW模型表示中忽略掉的动作序列的时间信息；2）通过增广特征多核学习的方法对动作平均模板表示和BoW表示进行结合，并通过引入学习权重调整两者的贡献度；通过以上两点改进，提高动作识别的准确率。

技术领域

本发明涉及动作识别领域，更具体地，涉及一种基于动态时间规整与多核学习的动作识别方法。

背景技术

人体的行为识别在人机交互、智能监控、运动分析、视频检索等方面有着广泛的应用前景。例如视频监控已广泛应用于城市公共场所，如公园、街道、商场等。各类应用中产生的大量视频数据，靠传统人工方式对其进行观察辨识几乎是不可能的。一方面这需要大量的人力去观察分析视频，另一方面人的眼睛长时间盯着视频会出现疲劳、视线模糊等状况，易于造成漏报，导致不能及时处理一些紧急情况。比如，现在侦破案件大多数是靠警察事后回放视频监控录像，难以实现实时干预。若采用基于计算机的视频分析技术，则能实时分析可疑动作，及时发出警报，从而避免案件的发生。因此，基于视频的人体行为识别研究具有重要的现实意义。而在实际场景中采集到的动作视频，因其不受控因素较多，例如背景杂乱、视角变化等，实现准确可靠的动作识别仍是一个有挑战性的工作。

目前，根据视频数据的不同，可以将基于视频的动作识别研究分为基于RGB视频和基于RGB-D视频两大类。基于RGB-D视频的动作识别方法，为了获得深度图，需要采用昂贵的深度摄像头来采集视频样本。相比之下，基于RGB视频的动作识别方法则提供了较为廉价的解决方案。因此，研究基于RGB视频的动作识别问题在目前更具有实际意义。

基于RGB视频的动作识别方法主要有两大类：一类是基于深度学习的端到端模型的方法，另一类则是基于人工设计特征的传统方法。基于深度学习的端到端模型为了取得好的识别效果需要用大量的标注数据进行训练，而目前可以用于训练的动作视频数据并不多。因此将深度学习的方法用在动作识别领域取得成功，而传统方法因其训练高效、效果显著等优点仍被广泛关注和使用。

词袋模型(BoW,Bag of Words)是目前在动作识别中比较常用的一种模型。BoW模型的基本思想是将一个动作视频表示成视觉词汇的统计直方图。与其他表示方法相比，BoW模型表示对噪声、相机运动更加鲁棒，而且适合低分辨率的输入。然而，虽然BoW模型中视觉词汇的统计分布提供了对动作视频的抽象和简洁的表示，但其往往忽略了局部描述子的全局时空分布信息，而这些信息对识别动作又是相当重要的，因此该模型并不能完全表达动作的特性。为了解决这个问题，有研究人员提出了建立动作序列时间上的对齐关系的方法。但这类方法往往仅基于序列时间上的匹配进行动作识别，而这种匹配对噪声比较敏感。

发明内容

本发明为解决以上现有技术的难题，提供了一种动作识别方法，该方法通过增广特征多核学习实现了动作平均模板表示和BoW表示的结合，提高了动作识别的准确性。

为实现以上发明目的，采用的技术方案是：

一种基于动态时间规整与多核学习的动作识别方法，包括以下步骤：

一、建立BoW表示

S11.记动作类别总数为C，令第j类动作的训练动作样本集为j＝1,2,..,C，其中表示第j类动作的第i个训练动作样本，i＝1,2,..,N_j,N_j表示第j类动作的训练动作样本数；定义包含C类训练动作样本的集合其中为训练动作样本总数；