[发明专利]一种引入深层次行为理解的视频浓缩方法

说明书

本发明公开了一种引入深层次行为理解的视频浓缩方法，包括：分离得到前景图像和背景图像；对前景图像中的运动对象进行目标检测，生成每个运动目标的运动轨迹；结合背景图像对每个运动目标的运行轨迹进行深层次行为理解；按照运动目标建立图像数据库，将与其相关的前景图像以及对应的结构化标签和行为标签存储至图像数据库；根据输入的检索标签信息，匹配得到对应的结构化标签或行为标签，结合运动轨迹将符合匹配标签的前景图像融合对应的背景图像，生成符合检索标签的浓缩视频。本发明能够在视频浓缩过程中引入了对视频行为的深层次理解步骤，结合标签的使用，有效提高人们检索视频中关键信息的效率，极大方便了监控视频的浏览和存储。

技术领域

本发明涉及视频处理技术领域，具体而言涉及一种引入深层次行为理解的视频浓缩方法。

背景技术

随着多媒体技术的快速发展，越来越多的监控摄像头应用在交通卡口、商场等各个重要的地方，24小时不间断工作，监控视频的连续性导致视频文件存在许多冗余信息，同时海量视频数据存在存储数据量大、存储时间长等特点，通过视频数据获取有效信息的做法要耗费大量人力、物力以及时间，效率极其低下。如何实现海量视频中快速检索出所需要的视频内容已成为当前监控视频领域的重要研究内容。因此视频浓缩技术正在被广泛研究，并在监控领域得到了大量的应用。

视频浓缩技术作为智能视频监控的一部分，近十几年国内外很多大学和公司对其进行了研究。视频浓缩技术主要分为三类：视频快进(video fast-forward)、视频摘要(video abstraction)和视频概要(video summarization)。视频快进是最直接的视频摘要技术，从视频中选取关键帧，组成新的视频摘要。视频概要将截取视频片段，然后将这些片段链接起来形成概要视频。上述两种方法，处理最小单位都是帧。视频摘要则是将不同时间段的数据，基于像素的分析和处理，将不同时间段的数据移动到同一帧。该方法的最小单位是像素，与基于帧的处理方法相比，性能得以提高。但是目前的视频浓缩方法在将长达几个小时的视频浓缩成几十分钟的视频，并没有对视频内容进行深层次理解和分类，观看者还是需要从长达几十分钟的视频中继续检索所需要的内容。

现有技术中针对前述问题提出了将视频帧划分成前景和背景，再结合运动对象的运动轨迹以实现进一步浓缩视频的技术。例如，专利号为CN103189861A的发明中还提出一种在线视频浓缩装置、系统及方法，通过将视频帧划分成前景和背景，对前景中的运动目标进行处理，再累积各帧图像的背景图像，从中提取特定n帧背景图像作为主背景序列，将该主背景序列与该运动物体序列进行拼接，形成浓缩视频。该方法利用在线浓缩方式，缩短了浓缩视频长度，尽量保留视频中的运动物体信息。然而，采用前述方法得到的浓缩视频仍然包含多个运动物体的大量信息，在视频监控日益普及的今天，如何从一个包含大量信息的浓缩视频中快速获取用户需要的视频片段信息，仍是亟需解决的问题。

发明内容

本发明针对现有技术中的不足，提供一种引入深层次行为理解的视频浓缩方法，通过对运行目标分析，提取运动目标，然后对各个目标运动轨迹进行分析，对各个目标的运动轨迹进行深层次行为理解，其中包括目标属性结构化识别和行为识别，将运动目标的轨迹根据标签类别保存在数据库，根据检索的需要和标签类别，将需要检索的目标轨迹拼接到背景中，并进行融合成为视频。本发明在视频浓缩过程中引入了对视频行为的深层次理解步骤，结合标签的使用，有效提高人们检索视频中关键信息的效率，极大方便了监控视频的浏览和存储。

为实现上述目的，本发明采用以下技术方案：

一种引入深层次行为理解的视频浓缩方法，所述视频浓缩方法包括以下步骤：

S1，对拍摄视频进行处理，分离得到前景图像和背景图像；

S2，对前景图像中的运动对象进行目标检测，并进行跟踪，生成每个运动目标的运动轨迹；

S3，结合背景图像对每个运动目标的运行轨迹进行深层次行为理解，所述深层次行为理解包括目标属性结构化识别和目标行为识别，生成对应的结构化标签和行为标签；