[发明专利]视频处理的方法、装置和存储介质

说明书

本发明涉及视频处理方法、装置和存储介质。该方法包括：获取待处理视频和目标人体区域；检测待处理视频中的多个人体区域；将多个人体区域输入经训练的特征提取网络，得到分别描述多个人体区域的多个第一特征，和将目标人体区域输入经训练的特征提取网络，得到描述目标人体区域的第二特征；将多个第一特征分别与第二特征进行比较，得到与第二特征相匹配的至少一个第一匹配特征；确定至少一个第一匹配特征在待处理视频中的所对应的各个时间点；基于各个时间点处理待处理视频以获取与目标对象关联的视频部分。特征提取网络是使用基于人体区域样本集合构建的数据集训练的，且人体区域样本集合是针对按照视频拍摄镜头划分的多个视频分段分别生成的。

技术领域

本发明涉及深度学习和计算机视觉的技术领域，具体涉及视频处理方法、装置和存储介质。

背景技术

随着多媒体技术的发展，各种图像及音视频为人们的生活增添了诸多乐趣。人们在观看视频文件时，通常会选择自己感兴趣片段进行观看。目前的视频片段剪辑大体上基于某些特定类别或特定场景进行剪辑，比如基于体育视频和游戏视频中的特定镜头或文字提示(例如，体育视频中的进球、射门，游戏视频中的绝杀、五杀等)来判断是否是精彩镜头，进而对视频进行剪辑。人们还希望在一段视频中仅观看关于特定人物的段落。在这种情况下，相关技术通常通过人脸识别来判断视频画面中的人物以完成针对该特定任务的剪辑。

发明内容

在通过人脸识别来识别包含特定人物的视频片段的技术方案中，在某些情况下无法识别或者无法准确识别包含特定人物的视频片段，例如当特定人物的面部不清晰、不完整，人物展现为侧面、背面以及人物动作幅度较大(例如，打斗)等的时候，基于人脸识别来剪辑特定人物片段效果较差。本发明的实施例至少部分地解决上面提及的问题。

根据本发明的一方面，提出了一种视频处理方法。该方法包括：获取待处理视频和表示目标对象的目标人体区域；检测待处理视频中的多个人体区域；将多个人体区域输入经训练的特征提取网络，得到分别描述多个人体区域的多个第一特征，和将目标人体区域输入经训练的特征提取网络，得到描述目标人体区域的第二特征；将多个第一特征分别与第二特征进行比较，得到与第二特征相匹配的第一特征中的至少一个第一匹配特征；确定至少一个第一匹配特征在待处理视频中的所对应的各个时间点；基于各个时间点处理待处理视频以获取与目标对象关联的视频部分；其中，特征提取网络是使用基于人体区域样本集合构建的数据集进行训练的，且人体区域样本集合是针对按照视频拍摄镜头划分的多个视频分段分别生成的。

在一些实施例中，数据集通过下述步骤构建：获取用于特征提取网络的训练视频；按照视频拍摄镜头将训练视频划分为多个训练视频分段；针对多个训练视频分段中的每一个训练视频分段，创建训练视频分段的一个或多个人体区域样本集合；确定一个或多个人体区域样本集合中是否包含人脸；响应于确定一个或多个人体区域样本集合中的各个人体区域中包含人脸，基于人脸的特征对一个或多个人体区域样本集合进行合并以构建训练数据集。

在一些实施例中，针对多个训练视频分段中的每一个训练视频分段，创建训练视频分段的一个或多个人体区域样本集合包括：针对多个训练视频分段中的每一个训练视频分段，每一个训练视频分段包含属于相同视频拍摄镜头的多个视频帧，检测多个视频帧中的人体区域；判断所检测到的两个或更多个人体区域之间的相似度；将相似度满足预定阈值范围的两个或更多个人体区域加入到相同的集合中以生成训练视频分段的一个或多个人体区域样本集合。

在一些实施例中，响应于确定一个或多个人体区域样本集合中的各个人体区域中包含人脸，基于人脸的特征对一个或多个人体区域样本集合进行合并以构建训练数据集包括：响应于确定一个或多个人体区域样本集合中的各个人体区域中包含人脸，从各个人体区域样本集合中分别选取相同预定数量的人脸；对从各个人体区域样本集合中所选取的人脸进行人脸相似度比较；将人脸相似度高于第一预定阈值的人体区域样本集合进行合并以构建训练数据集。