[发明专利]一种基于动态图着色的在线视频浓缩方案

说明书

本发明提供一种基于动态图着色的在线视频浓缩方案，属于视频信号处理、图像处理、安全监控领域。本发明提出一种视频浓缩的新模型，并根据此模型提出一种基于动态图着色的新型组合优化目标，最后基于上述两者提出一种在线的动态图着色的新型组合优化方案。本发明的显著优势在于，统一视频浓缩的在线模型和离线模型为一种通用模型，并且在保证实时性和低运存消耗的情况下，能够稳定地得到高压缩率、高信息保留率的浓缩视频。

技术领域

本方法提供一种基于动态图着色的在线视频浓缩方案，属于视频信号处理、图像处理、安全监控领域。

背景技术

由于当前社会中，监控摄像头被广泛用于世界上的各个角落，尤其是安装之后角度固定不变的静态摄像头，其使用数量在十年间成指数爆炸型增长。IDC的2025数据纪元研究报告指出，2016年的人工数据生成总量，即全球数据网的数据储备总量是16.1ZB，而这个量每年都在激增，预计在2025年将上升到163ZB。在这些天文数字中，诸如监控视频等非娱乐作用的视频和图像数据占据了一个很大的比例。另有文献指出，当前世界上存储的最大量的数据，就是监控视频。大量的数据带来的最明显的问题，就是其存储、分析、浏览和检索都成为了巨大的挑战。为了解决这些问题，分布式存储和分布式计算被广泛应用于工业界和学术界。然而，在处理监控视频方面，绝大部分的分布式技术将监控视频作为原子对象进行操作，也就是将一个视频作为一个整体，而忽略了视频内部的相关性以及信息冗余。由此，一系列视频处理技术针对于视频内部的信息挖掘而被开发出来，旨在去除视频信息冗余，提炼有效信息，减少存储空间的消耗和信息精确检索的时间消耗。

一般来说，监控视频绝大多数是静态视频，也即拍摄此视频的摄像头在启动录像之前和录像过程中，摄像头都处于固定状态，不进行角度调整、变焦、平移等能够使背景区域产生剧烈变化的操作；与其相对的动态视频则没有这些限制。监控视频信息提炼的技术基本是处理静态视频的，其大致可以分为视频摘要(Video Abstraction)、视频蒙太奇(Video Montage)、视频压缩(Video Condensation)和视频浓缩(Video Synopsis)四类。

视频摘要的最小处理单位是一个视频帧。此类方法挑选出视频中的若干帧，并认为这些帧能够代表整一个视频所包含的关键信息，以此达到压缩视频的目的。根据保留的帧是否连续，视频摘要又被进一步分为视频概要(Video Summary)和视频浏览(VideoSkimming)。前者把每一帧都看作是独立的，将这些帧提取出来，能够得到一个静态画面组成的故事板。类似于电影图解，使用者能够通过查看这个故事板得知整个监控视屏中发生了哪些重要事件。这种方案有一个明显的缺点，其将所有的动作信息忽略了，导致了大量的动态信息损失。在绝大多数情况下，监控查看者需要根据一个人的连续动作，才能判断出其是否有异常行为。视频浏览就是为了缓解这一缺点而被提出的。它仍旧提取关键帧，但是是连续提取的。即视频浏览提取若干视频段，用总长度远远小于原视频的视频段集合来表示整个视频。但此类方法仍然有动态信息丢失的缺点：小目标，或者快速运动的目标常常被忽略。因此，视频蒙太奇和视频压缩进一步被提出。视频蒙太奇将一个视频平行于时间轴进行切分，即将一段视频中的每一帧按照某一种子区域划分，分成若干碎片帧，然后将同一子区域不同时间的碎片帧按照时间顺序组合起来，得到若干碎片视频段，最后从这些碎片视频段中选出包含关键信息的段进行重组，得到输出视频。相比于视频摘要，这种方法虽然能够保留更多的动作信息，但是其算法十分复杂，处理时间极长，并且会留下明显的拼接裂缝，不利于人工查阅。视频压缩对其进行改善，利用动态规划算法，将无用的背景像素点信息删去，直接得到最后的压缩后视频。虽然这种方法十分快速，并且在运动目标提取正确的情况下能够保留所有的动态信息，然而灵活性十分局限，且冗余信息删除的效率低下，另外，其仍具有明显的影响二次查阅的拼接裂缝。