[发明专利]一种基于人脸的视频标注方法和视频检索方法

说明书

技术领域

本发明属于视频编目技术领域，具体涉及一种基于人脸的视频标注方法和视频检索方法。

背景技术

基于人脸的视频标注是指对视频中包含的人脸进行提取并标注，将视频中所有人脸标注完成并整理成标注文件，便于检索和再利用。

现有的涉及基于人脸的视频标注方法的专利主要有基于人脸识别或人脸聚类的视频编目方法，例如，申请号为201110453762.3的专利申请公开了一种基于人脸识别技术的自动编目方法，具体包括：接收人脸素材库；接收多媒体文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息，获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。该专利解决了无法通过视频文件自动生成基于人脸的编目文件的问题，提高了基于人脸的视频编目的自动化程度，节省了人力成本。

但是，在实现本发明的过程中，发明人发现，上述专利申请至少具有以下不足：

(1)需要提前建立人脸样本库：该方法需要提前建立并维护一个关键人物样本库，在人物样本库中预制感兴趣人物的人脸样本，借助该人脸样本库对视频进行人脸标注；(2)仅支持对关键人物进行标注：该方法只能识别样本库中的关键人物，导致其他大部分人物信息丢失。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于人脸的视频标注方法和视频检索方法，用以解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于人脸的视频标注方法，包括以下步骤：

S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；

S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；

S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；

S4，对所述人脸图片进行预处理；

S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；

S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；

S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；

S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P₀；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q₀；

S9，对S8形成的特征类别集合P₀中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q₀，由此得到筛选后的特征类别集合P₁和未分类特征集合Q₁；同时，在人脸特征库中更新特征类别集合P₁中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；