[发明专利]基于稠密-分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质

说明书

本发明公开了一种基于稠密‑分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质。首先将视频均匀地分为N段，在每段中采样一帧做为关键帧，由关键帧组成关键片段。同时，对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧。将上下文帧和其对应的关键帧组成一个上下文片段。进行一次稠密‑分段式帧采样，将会返回一个关键片段和N个上下文片段，将其送入时序稠密‑分段式网络TDSN中进行处理，从关键片段中提取长程时序信息，从上下文片段中提取局部上下文信息，将两种信息融合在一起，最终用于识别视频中的行为动作。本发明能够有效提取视频中的长程时序信息和局部上下文信息，有效地提升了视频行为识别的准确率。

技术领域

本申请涉及人工智能领域，尤其涉及一种基于稠密-分段式帧采样的视频行为识别方法。

背景技术

随着国内经济和科技的快速发展，智能手机、高清摄像机等设备成为人们日常生活中必不可少的物品，在安防领域，高清监控设备在商场、街道上也随处可见，这些都让我们可以方便快捷地拍摄视频。同时随着互联网的快速发展，各类视频网站、短视频APP、直播平台等兴起，人们乐于在网络上通过视频获取资讯，并且与他人分享自己拍摄的视频，这些都使得视频成为互联网上传播信息的重要方式之一。面对爆炸式增长的视频数据，仅依靠人工来分析视频内容可行性将越来越低。一方面视频数据量庞大，雇佣更多人员将会大大增加人力成本，另一方面人在长时间观看视频时，由于疲劳等原因很容易造成误判，降低可靠性。因此，人们对利用计算机来实现视频智能化分析处理的需求越来越迫切。

由于深度学习和计算机视觉的快速发展，视频行为识别任务的表现已经得到了极大的提升。基于深度学习的视频行为识别方法旨在从视频数据中自动识别出人或动物等的行为类别，是实现视频语义理解的基础及关键技术之一。针对视频行为识别的研究具有重大意义和应用价值。

然而，现有公开的基于深度学习的视频行为识别方法，在视频帧采样方式上的研究非常不足，导致神经网络无法有效提取视频在时间维度上的关键信息。现有的稠密式帧采样方法只能在时间维度捕获短时动态信息无法建立长程时序依赖，而分段式帧采样方法又容易忽略低层运动细节。所以为了同时有效捕捉长程时序依赖与低层运动细节，一种基于稠密-分段式帧采样的视频行为识别方法是迫切需求的。

发明内容

为了解决现有技术存在的问题，实现对视频帧采样方法进行优化，有助于同时提取长程时序依赖与低层运动细节，并提升视频行为识别准确率，本发明提供了一种基于稠密-分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质。

本发明为解决以上技术问题采用以下技术方案：

本发明提出一种基于稠密-分段式帧采样的视频行为识别方法，包括以下步骤：

步骤一：将视频所有帧均匀地分为N段，N为超参数；

步骤二：在每段视频帧中采样一帧，作为关键帧；

步骤三：将所有关键帧组成一个关键片段，该片段包含了视频的长程时序信息；

步骤四：对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧，这些上下文帧和其对应的关键帧组成一个上下文片段，该片段包含了关键帧的局部上下文信息；

步骤五：将采样得到的一个关键片段和N个上下文片段，送入时序稠密-分段式网络TDSN中进行处理；TDSN包含两个子网络：关键子网络和上下文子网络；

关键子网络接收关键片段作为输入，从中提取包含长程时序信息特征图；

上下文子网络接收上下文片段作为输入，从中提取包含局部上下文信息特征图；

步骤六：将长程时序信息和局部上下文信息通过融合模块融合在一起，融合的特征最终用于识别视频中的行为动作。