[发明专利]从视频文件中提取人物关键帧的方法及装置

说明书

技术领域

本发明涉及图像识别技术领域，具体而言，本发明涉及一种从视频文件中提取人物关键帧的方法及装置。

背景技术

随着互联网技术的发展，通过网络在各平台观看视频成为了越来越多人娱乐消遣的方式。为了提高视频的点击率，各平台往往会将与视频标题或内容相关的人物图片作为该视频的封面或缩略图，以吸引更多的用户观看视频。

对于如何获取视频的封面图片或缩略图，现有技术通常以人工截取视频画面或直接采用现有剧照的方法来实现。尽管上述方法可以给视频附上与之相关的图片，其局限性在于：通过人工编译来选取图片的方法效率很低，难以满足平台每日视频处理的庞大需求；且人工编译往往无法截取到与视频标题或内容相关度最高的图片，和直接采用现有剧照的方式一样难以快速吸引用户的注意，从而难以显著提高视频的点击率。

发明内容

为克服以上技术问题或者至少部分地解决以上技术问题，特提出以下技术方案：

本发明的实施例根据一个方面，提供了从视频文件中提取人物关键帧的方法，包括：

以预设周期抽取视频文件中的视频帧，并提取所述视频文件标题中的人物标签；

从各视频帧中提取其中所包含的对应至少一个人脸的人脸特征；

基于人脸分类模型对所述人脸特征进行分类，确定各视频帧中至少一个人脸对应的人物分类；

依据各视频帧中至少一个人脸对应的人物分类、以及所述人物标签，从各视频帧中确定出仅包括人物分类与所述人物标签一致的人脸的视频帧，作为人物关键帧。

进一步地，所述基于人脸分类模型对所述人脸特征进行分类之前，还包括：

从人脸数据库中提取样本数据，所述样本数据为人脸图像及相应人物分类；

通过所述样本数据训练得到所述人脸分类模型；

所述基于人脸分类模型对所述人脸特征进行分类，确定各视频帧中至少一个人脸对应的人物分类，包括：

通过所述人脸分类模型计算所述人脸特征与各所述人物分类的匹配概率；

根据所述匹配概率确定各视频帧中至少一个人脸对应的人物分类。

具体地，所述人脸分类模型为基于卷积神经网络CNN或深度神经网络DNN训练得到的人脸分类模型。

进一步地，所述依据各视频帧中至少一个人脸对应的人物分类、以及所述人物标签，从各视频帧中确定出仅包括人物分类与所述人物标签一致的人脸的视频帧，作为人物关键帧的步骤之后，还包括：

基于预设的图像质量评估策略，对确定得到的人物关键帧进行评估，得到各个人物关键帧的分值；

将所述分值按从大到小的顺序进行排序，并提取前预设数量的人物关键帧。

具体地，所述图像质量评估策略基于以下至少一项来对人物关键帧进行评估：

视频帧的清晰度、视频帧的亮度、视频帧的色度、视频帧中是否包含负面信息。

具体地，所述从各视频帧中提取其中所包含的对应至少一个人脸的人脸特征的步骤，包括：

通过预设的人脸检测模型对各视频帧进行人脸特征检测，并将检测到的对应至少一个人脸的人脸特征从各视频帧中提取出来；

其中，所述人脸检测模型为基于卷积神经网络CNN或深度神经网络DNN训练得到的人脸检测模型。

本发明的实施例根据另一个方面，还提供了一种从视频文件中提取人物关键帧的装置，包括：

视频信息获取模块，用于以预设周期抽取视频文件中的视频帧，并提取所述视频文件标题中的人物标签；

人脸特征提取模块，用于从各视频帧中提取其中所包含的对应至少一个人脸的人脸特征；

人物分类确定模块，用于基于人脸分类模型对所述人脸特征进行分类，确定各个视频帧中至少一个人脸对应的人物分类；

人物关键帧确定模块，用于依据各视频帧中至少一个人脸对应的人物分类、以及所述人物标签，从各视频帧中确定出仅包括人物分类与所述人物标签一致的人脸的视频帧，作为人物关键帧。

进一步地，所述装置还包括：人脸分类模型训练模块；

所述人脸分类模型训练模块，用于从人脸数据库中提取样本数据，所述样本数据为人脸图像及相应人物分类；通过所述样本数据训练得到所述人脸分类模型；

所述人脸分类确定模块，具体用于通过所述人脸分类模型计算所述人脸特征与各所述人物分类的匹配概率；根据所述匹配概率确定各视频帧中至少一个人脸对应的人物分类。

具体地，所述人脸分类模型为基于卷积神经网络CNN或深度神经网络DNN训练得到的人脸分类模型。

进一步地，所述装置还包括：