[发明专利]可解决多目标碰撞及遮挡问题的视频摘要生成方法

说明书

一种可解决多目标碰撞及遮挡问题的视频摘要生成方法，包括背景重建模块、目标检测模块、目标跟踪模块、目标轨迹后处理模块、目标轨迹生成模块、视频摘要生成模块。本发明是一种基于对象的动态视频摘要生成方式，该方法对监控视频进行智能分析处理，对源视频中的目标进行检测和跟踪，并提取目标位置大小等轨迹信息，通过轨迹的组合优化生成包含所有目标的浓缩视频，该方法能够有效降低视频空间冗余和时间冗余。

技术领域

本发明属于视频监控和图像智能分析技术领域，涉及一种可解决多目标碰撞及遮挡问题的视频摘要生成方法。

背景技术

视频监控系统作为一种广泛使用的技术防范手段，在城市社会治安综合防控体系建设中发挥着越来越重要的作用。然而，不断增多的各类摄像头日夜不停的摄像，使“看得见”的问题得到了很好的解决，但是海量的视频资料，查找起来犹如大海捞针，传统的以人海战术为主的视频线索查找已经无法应对大数据时代的视频侦查。随着系统规模的不断扩大，如何快速准确地在海量视频里浏览并查找线索，已成亟待解决的问题。

视频摘要作为目前智能视频分析技术的重要组成部分，同时也成为视频监控系统事后分析处理的关键手段。视频摘要有效地解决了海量视频资料带来的数据冗余、浏览和查找费时费力、存储不便等疑难问题。在视频监控系统中对原始视频进行浓缩，进一步提高浏览速度并锁定检索对象，对于加快破案速度和破案效率具有重要的意义。

视频监控领域的视频摘要技术主要有两种形式：静态视频摘要中的基于关键帧的视频摘要和动态视频摘要中的基于对象的视频摘要。基于关键帧的视频摘要的最小单位是“帧”，在时间上进行减少的同时，却留下了很多的空间冗余信息，并且不能完整表示每个目标的运动轨迹，不利于视频目标检索。基于对象的视频摘要的最小单位是“对象”，打破了“帧”不可分的限制，可以最大限度地减少时间冗余信息和空间冗余信息，保持了视频的动态特性，能在监控安防中快速响应紧急事件，定位到事件相关的“对象”，但是，监控视频中对象的运动轨迹大部分是不相关的，这些不相关的对象轨迹会产生一定的视频空间冗余和时间冗余，因此，造成了处理复杂和摘要生成困难的问题。

近年来，越来越多的研究人员针对视频摘要的生成方法进行了深入的研究，也就是解决如何将对象的运动轨迹在时空上进行组合优化的问题。常见的优化算法有模拟退火算法、遗传算法、粒子群算法等，此类算法存在性能不稳定、复杂度高、实现困难、效率低下等不足，在实际应用中不易采用。例如，以色列BriefCam公司已开发出视频摘要(VideoSynopsis)相关的系统，其专利号为US831127和US8102406，该系统的主要思想来源于以色列科学家Alex Rav-Acha于2006年提出了基于对象的视频摘要(Video Synopsis)技术的总体框架，这是一种视频—视频的转化模式。但是该方法在视频摘要生成过程中采用了两种方法，其中一种方法是将对象的运动轨迹进行切片，一个单独的对象被分为若干个切片，每个切片有着更短的时间间隔，而所有切片被同时播放则会出现动态频闪效应，并且对切片的安排处理采用模拟退火算法来最小化能量函数，该方法过分追求时间上的浓缩，得到的摘要视频中一幅画面同一个人出现多次，视觉感观不够自然。基于模拟退火的方法，依赖于初始解的选择，初始解选择不好，很难获得很好的排列使得能量函数很小。

CN201310294711.X的发明专利公开了一种用于双层视频摘要的轨迹最优组合方法，该方法提出了一种新的最优化能量函数的方法，降低了最优解求取过程中运算次数，避免了局部最优解的问题，也避免了轨迹密度不均匀的情况，但是该方法并没有考虑由于源视频中目标之间存在的碰撞和遮挡造成的目标轨迹不完整或目标本身提取不完整的问题。

CN201410001188.1的发明专利“一种视频浓缩方法和系统”提出一种视频摘要的生成方法是对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储，然后将前景目标和背景图像进行融合，生成压缩视频。该方法旨在浓缩视频长度的同时，尽可能防止多目标之间的碰撞和遮挡，并没有考虑源视频中目标之间存在碰撞和遮挡情况下的有效处理方法。