[发明专利]基于智能高层语义的视频行为识别方法

说明书

本发明公开了一种基于智能高层语义的视频行为识别方法，主要解决现有高层语义不完备而导致识别率低的问题。其实现方案是：1)提取视频行为特征，进行行为识别，获取混淆矩阵；2)针对混淆矩阵，人工定义能够区分混淆行为的高层语义集合；3)对人工定义的高层语义集合进行表达性和判别性的量化评估；4)利用遗传算法，获取更完备的高层语义集合，并训练和学习更完备的高层语义特征；5)将更完备的高层语义特征输入到SVM分类器中，获取行为识别的结果。本发明的智能高层语义具有更好的鉴别性，有效提高了视频行为识别的准确率，可用于视频监控。

技术领域

本发明属于视频处理技术领域，特别涉及一种视频行为识别方法，用于视频检索、智能监控、机器人导航、智能交通及游戏娱乐的人机交互和视频监控安防。

背景技术

近年来，计算机视觉作为一门新兴学科发展十分迅速，行为识别作为视频分析和理解的关键技术，其重要的学术价值、潜在的商业价值和巨大的应用前景，使其迅速成为计算机视觉领域研究的热点和难点，目前已广泛应用于视频检索、智能监控、机器人导航、智能交通及游戏娱乐等人机交互领域，越来越多的学者和机构在相关方面相继进行了大量的研究工作。

随着海量视频异构数据的不断涌现，研究者发现，人工定义的高层语义虽然对具有复杂时空结构的视频行为有较好的描述能力，且对易混淆行为视频具有较强的判别能力，但基于人工定义的高层语义具有一定的主观性和局限性，且高层语义学习过程中因为有噪声、奇异点的存在，弱化了高层语义的判别能力。因此亟待从人工定义的高层语义中衍生出更丰富的高层语义信息，并挖掘同时具备较强表达性和判别性的高层语义特征，从而进一步提高视频行为识别准确率。

目前已提出的高层语义构建方法主要有：

(1)Zhang Z,Wang C,Xiao B,et al.Attribute regularization based humanaction recognition[J].IEEE Trans on Information Forensics and Security,2013,8(10):1600-1609.文章将属性正则化作为惩罚项，添加到多任务学习模型当中，明确地考虑了底层特征、属性和行为之间的关系，在学习时不仅在属性和行为之间分享底层特征，而且添加了属性对类别的约束项，使得行为和属性之间的关系具有一致性。但人为定义的属性具有一定的主观性和局限性。

(2)Umeda T,Sun Y,Irie G,et al.Attribute Discovery for Person Re-Identification[C].International Conference on Multimedia Modeling.SpringerInternational Publishing,2016:268-276.文章提出了一个新的属性发现方法，通过一个成对学习过程，发现和学习新属性，新学习到的属性虽没有具体的语义含义，但能有针对性地实现相似行为的判别。然而该新属性的学习方法需要遍历所有的样本，根据混淆样本人工定义新属性，所花费的人力消耗和计算复杂度均会大大增加。

发明内容

本发明的目的是针对上述已有技术的不足，提出基于智能高层语义的视频行为识别方法，以获取更丰富的高层语义，并挖掘同时具备较强表达性和判别性的高层语义特征，进一步提高了视频行为识别的准确率。

本发明的技术思路是：将视频行为特征应用于行为识别，获得混淆矩阵；针对混淆矩阵，人工定义能够区分混淆行为的高层语义集合；对已定义的高层语义集合进行表达性和判别性的量化评估；利用遗传算法对高层语义集合进行选择、复制和交叉，以获取更完备的高层语义集合，并训练和学习相应的高层语义特征；将高层语义特征输入到SVM分类器中，进行视频行为识别，输出分类结果。

根据上述思路，本发明的技术方案包括如下：

(1)提取视频行为特征并应用于行为识别，获得混淆矩阵，针对混淆矩阵，人工定义能够区分混淆行为的高层语义，并获取人工定义的高层语义集合H_Set；