[发明专利]一种基于人脸识别的监控视频摘要方法及系统

说明书

技术领域

本发明涉及一种应用人脸识别技术对监控视频进行视频摘要的方法及系统，属于人脸识别及视频分析范畴。

背景技术

在社会公共安全领域，视频监控系统已成为维护社会治安、加强社会管理的重要技术手段。然而监控视频具有存储数据量大、存储时间长等特点，通过人工回放视频寻找线索、获取证据的传统做法需要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。

因此在视频监控系统中，对原始视频进行浓缩，可以快速浏览，锁定检索对象，对于公安机关加快破案速度，提高大案、要案的破案效率具有重要意义。

视频摘要，可以理解为以自动或半自动的方式，对视频的结构和内容进行分析，从原始视频文件中提取出有意义的部分，并将它以某种方式进行组合，形成简洁的能够充分表现视频内容的概要。视频摘要是对长视频内容的简短总结，通常用一段静态或者动态的图像序列来表示，并对原始信息予以保留。

视频摘要的理论基础，就是从时域、空域两方面去除冗余信息，并结合视频索引技术，提供给人们一个概括原始视频主要内容，但长度却比原始视频短得多的较为精炼的关键信息。

视频从层次上可以分为帧、镜头、片段、视频。对于影视、新闻等视频而言，镜头检测如今已取得了较好的性能，因此视频摘要的传统思路便是提取镜头关键帧。很多方法都是将镜头分割和关键帧提取同时进行，进而组成视频摘要。

最直接的方法是在镜头分割结束后直接提取镜头首尾帧作为关键帧，这种方法虽然简单，但提取的关键帧不一定具有代表意义，而且容易产生冗余重复帧。

有的则是分别进行镜头分割和关键帧提取，通过对镜头内容的分析决定应该提取哪些关键帧，这样产生的视频摘要效果要好一些。

另一种思路是提取视频片段关键帧，这里的片段可以理解为比镜头更高一层的单元，如场景或故事单元，比较有代表性的是基于镜头间信息的关键帧提取。

对于监控视频而言，镜头的边界不如影视、新闻视频那么明显，因此通过镜头检测进而提取关键帧的传统做法的效果明显下降。同时，由于视频监控系统有明确的监控主体，如行人，从应用角度而言要求关键帧应该尽可能覆盖监控主体而没有遗漏。显然，传统的关键帧提取方法难以满足监控视频摘要的技术要求。

发明内容

本发明的目的在于提供一种通过人脸识别进行监控视频摘要(关键帧提取)的方法。本发明从视频监控系统的监控主体——行人出发，应用高效鲁棒的人脸检测方法，对视频中出现人脸的视频帧进行关键帧提取，并将检测到的人脸图像及相关时间、位置标注信息存入索引备查。

为了达到上述目的，本发明提供一种基于人脸识别的视频摘要方法，包括以下步骤：

(1)从输入的原始视频中解析出帧图像，并对帧图像进行预处理；

(2)对预处理后的帧图像进行特征提取；

(3)检测帧图像是否存在人脸，如果存在，帧图像为关键帧，将关键帧相关信息存入索引及关键帧存储模块，处理下一帧图像；如果不存在，直接处理下一帧图像，直至原始视频的最后一帧。

本发明提供的基于人脸识别的视频摘要方法，从视频监控系统的监控主体–人出发，将原始视频中出现人脸的帧作为关键帧提取，并保存关键帧相关信息，能够对原始视频进行浓缩，对于公安机关加快破案速度，提高大案、要案的破案效率具有重要意义。

本发明提供的基于人脸识别的视频摘要方法，一旦在帧图像中检测到1个人脸图像，立即停止对该帧图像的人脸检测，开始下一帧图像的检测，从而大大提高了人脸检测效率，降低了计算复杂度，提升了系统的实用性。

进一步地，步骤(3)中将关键帧相关信息存入索引及关键帧存储模块包括以下步骤：

(31)定位人脸所处位置并截取人脸图像；

(32)将人脸图像作为关键帧的索引，存入索引及关键帧存储模块中原始视频对应的索引表中；

(33)将关键帧对应的时间信息、人脸图像在关键帧中的位置坐标存入索引及关键帧存储模块中原始视频对应的索引表中；

(34)将关键帧存入索引及关键帧存储模块中原始视频对应的关键帧数据库。

本发明提供的基于人脸识别的视频摘要方法，将检测到的人脸图像作为关键帧的索引，存入索引及关键帧存储模块中原始视频对应的索引表中；将关键帧对应的时间信息、人脸图像在关键帧中的位置坐标存入索引表中；将关键帧存入关键帧数据库。

这样，可以根据人脸图像检索到相关的关键帧，便于快速、准确地从原始视频中提取有用信息。

进一步地，步骤(1)中的从输入的原始视频中解析出帧图像是指按照原始视频的编码方式进行解码。